[論文レビュー] Pre-trained Language Model Representations for Language Generation

Sergey Edunov, Alexei Baevski+1 more|arXiv (Cornell University)|Mar 22, 2019

Topic Modeling参考文献 30被引用数 24

ひとこと要約

本稿では、ニューラル機械翻訳および要約生成のためのsequence-to-sequenceモデルに事前学習済み言語モデルの表現を統合する手法を提案する。エンコーダーにELMo風の文脈依存埋め込みを入力することで、低リソース設定ではBLEUスコアを最大5.3ポイント向上させ、CNN-DailyMailではROUGEスコアを1.49ポイント向上させ、推論時間は14%増加にとどめるという、最先端の結果を達成した。

ABSTRACT

Pre-trained language model representations have been successful in a wide range of language understanding tasks. In this paper, we examine different strategies to integrate pre-trained representations into sequence to sequence models and apply it to neural machine translation and abstractive summarization. We find that pre-trained representations are most effective when added to the encoder network which slows inference by only 14%. Our experiments in machine translation show gains of up to 5.3 BLEU in a simulated resource-poor setup. While returns diminish with more labeled data, we still observe improvements when millions of sentence-pairs are available. Finally, on abstractive summarization we achieve a new state of the art on the full text version of CNN/DailyMail.

研究の動機と目的

• 事前学習済み言語モデルの表現が、テキスト生成タスクのsequence-to-sequenceモデルにどのように改善をもたらすかを調査すること。
• エンコーダーおよびデコーダーのネットワークに適用する、ELMo風の補正とファインチューニングの異なる統合戦略を評価すること。
• 機械翻訳および要約生成における低リソースおよび高リソース設定でのパフォーマンス向上を評価すること。
• 事前学習済み表現を追加した際の、パフォーマンス向上と推論効率のトレードオフを分析すること。

提案手法

• 著者らは、事前学習済み言語モデルの複数層の出力を重み付き合成で得たELMo風の文脈依存語彙埋め込みを用い、各隠れ層に層正則化を適用した。
• これらの埋め込みをエンコーダー（src-elmo）またはデコーダー（tgt-elmo）に挿入する実験を行い、またsequence-to-sequence学習中に言語モデルのパラメータをファインチューニングする戦略（src-ft, tgt-ft）も検討した。
• 事前学習済み言語モデルは、大規模な単語彙（例：6Bトークンのドイツ語および5Bの英語ニュースコーパス）を用い、37Kタイプの統合BPE語彙で学習された。
• 推論時には、すべての入力トークンに対して言語モデル表現を並列に計算することで、訓練時間の増加にもかかわらず遅延の影響を最小限に抑えた。
• 特にデータが少ない状況でパフォーマンスを向上させるために、デコーダーで入力と出力の埋め込みを共有する（共有埋め込み）戦略を含んだ。
• 実験は、WMT’18の英語＝ドイツ語および英語＝ターキッシュ翻訳タスク、およびCNN-DailyMailの要約生成データセットで実施された。

実験結果

リサーチクエスチョン

• RQ1 ELMo風の入力挿入とファインチューニングのどちらの統合戦略が、sequence-to-sequenceモデルにおけるパフォーマンス向上をもたらすか？
• RQ2 事前学習済み表現は、ラベル付き学習データ量の変動に応じてどのように影響を及ぼすか、特に低リソース設定での影響は？
• RQ3 エンコーダーまたはデコーダーに事前学習済み表現を挿入すると、どちらがより良い結果をもたらすか、その理由は？
• RQ4 事前学習済み表現の導入が推論速度に与える影響は何か？ また、パフォーマンスを損なわずにこれを最小限に抑えることは可能か？
• RQ5 事前学習済み表現は、共有埋め込みのような他のアーキテクチャ的改善と効果的に組み合わせられるか？

主な発見

• 最も優れた性能を示したのは、エンコーダーにELMo風の文脈依存埋め込みを挿入する戦略（src-elmo）で、160Kビテキスト設定ではBLEUが3.8ポイント向上し、520万文のペairでも1ポイント以上のBLEU向上を達成した。
• src-elmoと入出力埋め込みの共有（src-elmo+shdemb）を組み合わせたアプローチが、160Kビテキスト設定で5.3ポイントのBLEU向上を達成し、新たな最先端性能を樹立した。
• 言語モデルをファインチューニングする戦略（src-ft）もパフォーマンスを向上させるが、ベースラインと比べて9.2倍も遅くなるため、訓練時間が著しく増加し、一部の設定を除いてsrc-elmoに僅かに劣る結果にとどまった。
• デコーダーに事前学習済み表現を挿入する（tgt-elmo や tgt-ft）戦略は、ほとんどまたは負の影響を及ぼし、デコード段階での有効性が低いことが示唆された。
• 推論時間は、src-elmoを用いる際、入力トークン全体で言語モデル計算を並列化したため、わずか14%の増加にとどまった。
• CNN-DailyMailの要約生成タスクでは、src-elmo+shdembが、ベースラインからROUGE-Lスコアを1.49ポイント向上させ、新たな最先端性能を達成した。