[論文レビュー] MacNet: Transferring Knowledge from Machine Comprehension to Sequence-to-Sequence Models

Boyuan Pan, Yazheng Yang+5 more|arXiv (Cornell University)|Jul 23, 2019

Topic Modeling被引用数 17

ひとこと要約

MacNetは、事前学習された機械理解（MC）モデルからシーケンス・トゥ・シーケンス（seq2seq）モデルへの知識伝達を可能にする、新しい補助的エンコーダ・デコーダアーキテクチャである。注意メカニズムに基づくseq2seqフレームワークにMC特有の符号化およびモデリングコンponentsを統合することにより、MacNetはニューラル機械翻訳および要約抽出的要約の性能を顕著に向上させ、Gigawordデータセットにおいて37.97 ROUGE-1、18.16 ROUGE-2、34.93 ROUGE-Lという最先端のスコアを達成した。

ABSTRACT

Machine Comprehension (MC) is one of the core problems in natural language processing, requiring both understanding of the natural language and knowledge about the world. Rapid progress has been made since the release of several benchmark datasets, and recently the state-of-the-art models even surpass human performance on the well-known SQuAD evaluation. In this paper, we transfer knowledge learned from machine comprehension to the sequence-to-sequence tasks to deepen the understanding of the text. We propose MacNet: a novel encoder-decoder supplementary architecture to the widely used attention-based sequence-to-sequence models. Experiments on neural machine translation (NMT) and abstractive text summarization show that our proposed framework can significantly improve the performance of the baseline models, and our method for the abstractive text summarization achieves the state-of-the-art results on the Gigaword dataset.

研究の動機と目的

• 事前学習済みの機械理解（MC）モデルから知識を転送することで、シーケンス・トゥ・シーケンスモデルのテキスト理解性能を向上させること。
• 標準的なseq2seqモデルがソーステキスト内の深い意味的および文脈的関係を捉えきれていないという限界に対処すること。
• コアコンponentsを置き換えずに、既存の注意メカニズムに基づくseq2seqフレームワークにMCコンponentsを統合できるモジュラーで補助的なアーキテクチャを設計すること。
• ニューラル機械翻訳や要約抽出的要約のようなシーケンス生成タスクにおける性能を向上させること。
• 共有の高レベルの意味的表現を介して、異なるNLPタスク間での知識伝達の有効性を検証すること。

提案手法

• SQuADのようなベンチマークデータセット上で、RNNベースの符号化およびモデリング層を用いて機械理解モデルを事前学習する。
• 元のエンコーダの隠れ状態と結合することで、seq2seqモデルの符号化段階に事前学習済みMCエンコーダーを統合する。
• seq2seqデコーダーの注意ベクトルを転送されたMCモデリング層に供給し、文脈表現を精緻化する。
• MCモデリング層の出力をseq2seqの注意ベクトルと組み合わせ、デコードのための強化された予測ベクトルを形成する。
• 訓練中に頻出フレーズが引き起こすクラス不均衡を軽減するため、フォーカル損失を適用する。
• 下流のシーケンス生成タスクにおいて、結合されたMacNetアーキテクチャをエンド・トゥ・エンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 機械理解モデルからの知識は、テキスト生成タスクにおけるシーケンス・トゥ・シーケンスモデルの性能を向上させることができるか？
• RQ2 MC特有のコンponentsを統合することで、seq2seqモデルのエンコーダおよびデコーダの表現品質にどのような影響を与えるか？
• RQ3 ベースラインモデルと比較して、MacNetはニューラル機械翻訳および要約抽出的要約の性能をどの程度向上させるか？
• RQ4 MCの知識伝達は、より正確で論理的整合性のあるテキスト生成をもたらすか？
• RQ5 MacNetは、Gigaword や CNN/Daily Mail のような標準ベンチマークで最先端の結果を達成できるか？

主な発見

• MacNetは、複数の大型スケールデータセットにおいて、ベースラインseq2seqモデルのニューラル機械翻訳タスク性能を顕著に向上させた。
• Gigawordデータセットでは、要約抽出的要約タスクにおいて37.97 ROUGE-1、18.16 ROUGE-2、34.93 ROUGE-Lという最先端のスコアを達成した。
• MacNetの符号化コンponentsが性能向上に最も寄与しており、モデリング層は全評価指標で一貫した改善をもたらした。
• 定性的な分析から、ベースラインのPointer-Generatorモデルと比較して、MacNetはより一貫性があり事実に忠実な要約を生成することがわかった。
• CNN/Daily MailおよびGigawordデータセットの両方で、ROUGEスコアが0.7%から1.5%向上し、ベースラインのPointer-Generatorモデルを上回った。
• フォーカル損失の使用により、頻出フレーズの影響が効果的に軽減され、訓練の安定性と性能が向上した。