[논문 리뷰] Predicting Prosodic Prominence from Text with Pre-trained Contextualized Word Representations

Aarne Talman, Antti Suni외 4명|arXiv (Cornell University)|2019. 08. 06.

Natural Language Processing Techniques참고 문헌 22인용 수 7

한 줄 요약

이 논문은 LibriTTS 코퍼스에서 자동으로 생성된 프로소디컬 강조 레이블을 가진 280만 단어의 대규모 공개 데이터셋을 소개하며, 텍스트로부터 프로소디컬 강조를 예측할 수 있도록 한다. 이 벤치마크를 통해 저자들은 BERT 기반 모델이 전통적인 특징 기반 모델 및 BiLSTM 모델보다도 유의미하게 뛰어난 성능을 보이며, 훈련 데이터의 10%만으로도 성능을 냄으로써 사전 훈련된 문맥 기반 표현의 프로소디 예측에 있어 가치를 입증한다.

ABSTRACT

In this paper we introduce a new natural language processing dataset and benchmark for predicting prosodic prominence from written text. To our knowledge this will be the largest publicly available dataset with prosodic labels. We describe the dataset construction and the resulting benchmark dataset in detail and train a number of different models ranging from feature-based classifiers to neural network systems for the prediction of discretized prosodic prominence. We show that pre-trained contextualized word representations from BERT outperform the other models even with less than 10% of the training data. Finally we discuss the dataset in light of the results and point to future research and plans for further improving both the dataset and methods of predicting prosodic prominence from text. The dataset and the code for the models are publicly available.

연구 동기 및 목표

• 텍스트에서 프로소디컬 강조를 예측하기 위한 대규모 공개 데이터셋의 부족을 해결하기 위해.
• 기본 텍스트에서 이산적인 프로소디컬 강조 수준을 예측하기 위한 시퀀스 레이블링 모델을 개발하고 벤치마크하기 위해.
• 기존 모델들과 비교하여 BERT와 같은 사전 훈련된 문맥 기반 단어 표현의 효과를 평가하기 위해.
• 자동 레이블링의 한계와 모델 성능에 대한 영향을 규명하고, 향후 데이터 품질 향상 및 모델링 접근법 개선을 위한 방향을 제시하기 위해.

제안 방법

• 연속 웨이블릿 변환 기반 방법을 사용하여 LibriTTS 코퍼스에서 유도된 280만 단어의 벤치마크 데이터셋을 구축하였으며, 프로소디컬 강조 레이블을 자동으로 생성하였다.
• 프로소디컬 강조 예측을 시퀀스 레이블링 문제로 간주하여 각 단어에 이산적 강조 레이블(0: 비강조, 1: 중간 강조, 2: 높은 강조)을 할당하였다.
• 특징 기반 분류기, BiLSTM, BERT 기반 모델을 포함한 여러 모델을 데이터셋에서 훈련하고 비교하였다.
• 데이터셋에 대해 BERT를 미세조정하고 표준 지표를 사용하여 성능을 평가하였으며, 다양한 훈련 데이터 크기에서의 결과를 비교하였다.
• 모델 오류를 분석하고, 데이터 분포, 장르, 화자 변동성이 모델 성능에 미치는 영향을 평가하였다.
• 향후 향상 가능성을 탐색하기 위해 화자 인식 모델링, 장르 적응, 확장된 컨텍스트 모델링을 탐색하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 문맥 기반 단어 표현인 BERT가 제한된 훈련 데이터로도 텍스트에서 프로소디컬 강조를 효과적으로 예측할 수 있는가?
• RQ2 프로소디컬 강조 예측에서 BERT의 성능은 BiLSTM 및 수작업 특징 기반 분류기와 같은 전통적 모델과 비교해 어떻게 다른가?
• RQ3 자동 강조 레이블링의 주요 오류 원인은 무엇이며, 이는 모델 일반화에 어떤 영향을 미치는가?
• RQ4 장르 다양성, 화자 변동성, 사전 훈련 분포와 같은 데이터 특성이 모델 성능에 어떻게 영향을 미치는가?
• RQ5 대규모 텍스트 코퍼스에서의 사전 훈련이 프로소디 예측에 유용한 문법적 및 의미적 특징을 얼마나 잘 전이할 수 있는가?

주요 결과

• BERT는 훈련 데이터의 10%만으로도 다른 모든 강조 레이블에서 BiLSTM 및 특징 기반 분류기보다 뛰어난 성능을 보였다.
• 현대 뉴스 코퍼스(보스턴 대학교 라디오 뉴스)에서의 성능 격차는 LibriTTS 기반 테스트 세트보다 더 크게 나타났으며, 이는 도메인 이동 효과를 시사한다.
• 단지 훈련 데이터의 10%만으로도 BERT는 전체 데이터로 훈련된 다른 모델보다 더 높은 성능을 달성하였으며, 이는 사전 훈련으로부터의 강력한 인덕티브 바이어스를 시사한다.
• LibriTTS 코퍼스 내의 화자 간 변동성과 장르 다양성은 모델 일반화 및 테스트 성능에 악영향을 미치는 주요 요인으로 규명되었다.
• 테스트 세트 레이블의 수동 보정과 화자별 모델링은 성능 향상을 이끌 수 있었지만, 현재 자동 레이블링 품질이 여전히 주요 제약 요소로 남아 있다.
• 결과적으로 사전 훈련된 대규모 텍스트 코퍼스가 프로소디컬 강조와 관련된 문법적 및 의미적 특징을 암묵적으로 학습하고 있음을 시사하며, POS 태그와 같은 작업별 특징을 추가로 미세조정하는 데 유용할 것으로 보인다.