[論文レビュー] Predicting Prosodic Prominence from Text with Pre-trained Contextualized Word Representations

Aarne Talman, Antti Suni+4 more|arXiv (Cornell University)|Aug 6, 2019

Natural Language Processing Techniques参考文献 22被引用数 7

ひとこと要約

本論文は、LibriTTSコーパスから自動的に生成されたプロソディックな強調ラベルを備えた、280万語にのぼる大規模で公開可能なデータセットを紹介する。このデータセットにより、テキストからのプロソディック強調の予測が可能になる。このベンチマークを用いて、著者らは、BERTベースのモデルが、従来の特徴ベースのモデルやBiLSTMモデルを著しく上回ることを示している。これは、わずか10％の訓練データでも同様の結果が得られることを示しており、プロソディー予測における事前学習された文脈依存表現の価値を強調している。

ABSTRACT

In this paper we introduce a new natural language processing dataset and benchmark for predicting prosodic prominence from written text. To our knowledge this will be the largest publicly available dataset with prosodic labels. We describe the dataset construction and the resulting benchmark dataset in detail and train a number of different models ranging from feature-based classifiers to neural network systems for the prediction of discretized prosodic prominence. We show that pre-trained contextualized word representations from BERT outperform the other models even with less than 10% of the training data. Finally we discuss the dataset in light of the results and point to future research and plans for further improving both the dataset and methods of predicting prosodic prominence from text. The dataset and the code for the models are publicly available.

研究の動機と目的

• テキストからのプロソディック強調予測のための大規模で公開可能なデータセットの不足に対処すること。
• 書かれたテキストから離散的なプロソディック強調レベルを予測するための系列ラベル付けモデルの開発とベンチマーク化。
• 従来のモデルと比較して、BERTのような事前学習された文脈依存語彙表現が、このタスクにおいてどれほど有効であるかを評価すること。
• 自動ラベル付けの限界とモデル性能の問題点を特定し、今後のデータ品質向上およびモデリング手法の改善に向けた指針を示すこと。

提案手法

• プロソディック強調ラベルを連続ウェーブレット変換に基づく手法で自動生成した、LibriTTSコーパスから280万語のベンチマークデータセットを構築した。
• プロソディック強調予測を系列ラベル付けタスクとして扱い、各単語に離散的な強調ラベル（0：非強調、1：中程度強調、2：強く強調）を割り当てた。
• 特徴ベースの分類器、BiLSTM、BERTベースのモデルを含む複数のモデルを、このデータセット上で訓練・比較した。
• データセット上でBERTをファインチューニングし、標準的な指標を用いて性能を評価した。さまざまな訓練データ量での結果を比較した。
• モデルの誤りを分析し、データ分布、ジャンル、話者差がモデル性能に与える影響を評価した。
• 今後の改善のための可能性として、話者に依存するモデリング、ジャンル適応、拡張された文脈モデリングを検討した。

実験結果

リサーチクエスチョン

• RQ1 事前学習された文脈依存語彙表現（例：BERT）は、限られた訓練データでも、テキストからのプロソディック強調を効果的に予測できるか？
• RQ2 プロソディック強調予測において、BERTの性能は、BiLSTM や手作業で特徴を設計した分類器といった従来のモデルと比べてどう異なるか？
• RQ3 自動強調ラベル付けにおける主な誤り要因は何か。それらはモデルの一般化性能にどのように影響するか？
• RQ4 ジャンルの多様性、話者差、事前学習の分布といったデータの特性が、モデル性能に与える影響は何か？
• RQ5 大規模なテキストコーパスでの事前学習が、構文的・意味的特徴をどれほどタスク固有の特徴（例：品詞タグ）に転送できるか？

主な発見

• BERTは、10％の訓練データで学習した場合でも、BiLSTM や特徴ベース分類器をすべての強調ラベルで著しく上回った。
• 現在のニュースコーパス（ボストン大学ラジオニュース）では、LibriTTSベースのテストセットよりもBERTと他のモデルとの性能差が顕著に大きかった。これはドメインシフトの影響を示唆している。
• わずか10％の訓練データでも、BERTは他のモデルが全データで学習した場合の性能を上回った。これは、事前学習による強いインダクティブバイアスの存在を示している。
• LibriTTSコーパスにおける話者間の差異とジャンルの多様性が、モデルの一般化性能とテスト性能に悪影響を与える主な要因であることが明らかになった。
• テストセットのラベルを手動で修正したり、話者固有のモデリングを施すことで性能向上が見られたが、現在の自動ラベル付けの品質が依然として制限要因である。
• 結果から、大規模なテキストコーパスでの事前学習が、プロソディック強調に関連する構文的・意味的特徴を暗黙的に捉えていることが示唆され、タスク固有の特徴（例：品詞タグ）を用いたさらなるファインチューニングが有効である可能性が示された。