[論文レビュー] Unsupervised Pretraining for Sequence to Sequence Learning

Prajit Ramachandran, Peter J. Liu+1 more|arXiv (Cornell University)|Nov 8, 2016

Natural Language Processing Techniques参考文献 44被引用数 17

ひとこと要約

本稿では、単語の翻訳データにのみ事前学習された言語モデルの重みをエンコーダーとデコーダーに初期化し、その後、教師ありデータと単語の翻訳言語モデル化損失を同時に最適化することで、教師なし事前学習手法を提案する。このアプローチは一般化性能を著しく向上させ、WMT英語→ドイツ語翻訳で1.3 BLEUの向上を達成し、要約生成タスクにおいても人間評価で優れたスコアを記録した。

ABSTRACT

This work presents a general unsupervised learning method to improve the accuracy of sequence to sequence (seq2seq) models. In our method, the weights of the encoder and decoder of a seq2seq model are initialized with the pretrained weights of two language models and then fine-tuned with labeled data. We apply this method to challenging benchmarks in machine translation and abstractive summarization and find that it significantly improves the subsequent supervised models. Our main result is that pretraining improves the generalization of seq2seq models. We achieve state-of-the art results on the WMT English$ ightarrow$German task, surpassing a range of methods using both phrase-based machine translation and neural machine translation. Our method achieves a significant improvement of 1.3 BLEU from the previous best models on both WMT'14 and WMT'15 English$ ightarrow$German. We also conduct human evaluations on abstractive summarization and find that our method outperforms a purely supervised learning baseline in a statistically significant manner.

研究の動機と目的

• 教師ありデータが限られる状況におけるseq2seqモデルの過学習問題に対処すること。
• 大規模な単語の翻訳テキストを用いた教師なし事前学習により、seq2seqモデルの一般化性能を向上させること。
• エンコーダーとデコーダーを別個の言語モデルで事前学習することで、系列生成タスクの性能向上が図れるかどうかを検証すること。
• 訓練中に継続的な単語の翻訳言語モデル化損失と教師あり微調整を組み合わせた効果を評価すること。
• 事前学習が低リソースまたは不正確な入力に対するモデルの頑健性と性能向上に寄与するかどうかを検討すること。

提案手法

• エンコーダーを単語の翻訳元テキスト上で事前学習された言語モデルで、デコーダーを単語の翻訳先テキスト上で事前学習された言語モデルでそれぞれ事前学習する。
• seq2seqモデルの埋め込み層およびRNN層を、それぞれ事前学習済みのエンコーダーおよびデコーダーの重みで初期化する。
• デコーダーのソフトマックス層を、事前学習済みの翻訳先言語モデルのソフトマックスで初期化し、より良い初期化を実現する。
• 教師ありデータ上でseq2seqモデル全体を同時に微調整するが、単語の翻訳言語モデル化の目的関数に対しても同等の重みを維持して最適化を継続する。
• 残差接続と多層アテンション機構を導入し、さらに訓練の安定性と性能を向上させる。
• アブレーションスタディを実施し、事前学習と言語モデル化正則化の寄与を分離して評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの言語モデルでエンコーダーとデコーダーを初期化することで、seq2seqモデルの一般化性能が向上するか？
• RQ2 教師あり微調整と継続的な単語の翻訳言語モデル化損失の組み合わせが、モデル性能に与える影響は何か？
• RQ3 系列生成タスクにおいて、エンコーダーの事前学習とデコーダーの事前学習の相対的な寄与度は何か？
• RQ4 低リソースまたは不正確な入力系列において、事前学習が性能向上に寄与するか？
• RQ5 性能向上の要因は、より良い特徴表現、最適化、それとも正則化にあるか？

主な発見

• 提案手法は、WMT’14およびWMT’15の英語→ドイツ語翻訳ベンチマークにおいて、以前の最先端手法より1.3 BLEUポイントの向上を達成した。
• 人間評価では、要約生成タスクにおいて、事前学習済みモデルが純粋に教師ありベースラインを上回り、正しさが向上し、繰り返しの減少が確認された。
• 翻訳タスクにおける主な性能向上は、特に低リソース環境下で、事前学習された特徴による一般化性能の向上に起因する。
• 要約生成タスクでは、エンコーダーの事前学習が大きな向上をもたらした。これは、長距離文脈表現の最適化が鍵であることを示唆している。
• 事前学習と継続的な言語モデル化損失の組み合わせは相乗効果があり、高い性能を達成するために不可欠である。
• アブレーションスタディの結果、エンコーダーとデコーダーを別個の言語モデルで初期化する方法が、他の統合手法よりも効果的であることが確認された。