[論文レビュー] Soft Layer-Specific Multi-Task Summarization with Entailment and Question Generation

Han Guo, Ramakanth Pasunuru+1 more|arXiv (Cornell University)|May 28, 2018

Topic Modeling被引用数 36

ひとこと要約

本稿では、要約生成と質問生成、含意生成という補助的タスクを同時に学習するソフトなレイヤー特化型マルチタスク学習フレームワークを提案する。エンコーダーとデコーダーの各レイヤー間でハイレベルな意味的表現を共有することで、顕著性検出と論理的含意の両方を向上させ、CNN/DailyMail、Gigaword、DUC-2002のROUGEスコアで最先端の性能を達成し、統計的に有意な向上と幻覚の低減を実現した。

ABSTRACT

An accurate abstractive summary of a document should contain all its salient information and should be logically entailed by the input document. We improve these important aspects of abstractive summarization via multi-task learning with the auxiliary tasks of question generation and entailment generation, where the former teaches the summarization model how to look for salient questioning-worthy details, and the latter teaches the model how to rewrite a summary which is a directed-logical subset of the input document. We also propose novel multi-task architectures with high-level (semantic) layer-specific sharing across multiple encoder and decoder layers of the three tasks, as well as soft-sharing mechanisms (and show performance ablations and analysis examples of each contribution). Overall, we achieve statistically significant improvements over the state-of-the-art on both the CNN/DailyMail and Gigaword datasets, as well as on the DUC-2002 transfer setup. We also present several quantitative and qualitative analysis studies of our model's learned saliency and entailment skills.

研究の動機と目的

• 入力文書からの顕著な情報の検出能力と論理的含意の確保を向上させることで、要約生成の性能を向上させること。
• 質問生成や含意生成といった補助タスクが、標準的なシーケンス・トゥ・シーケンスモデルを上回る要約品質の向上に寄与するかどうかを検証すること。
• 要約のマルチタスク学習において、ソフトでハイレベル（意味的）なレイヤー特化型パラメータ共有の有効性を調査すること。
• DUC-2002の転移設定を用いて、低リソース環境におけるモデルの汎化能力を評価すること。
• 定性的および定量的な分析を通じて、モデルが学習した顕著性および含意能力の特性を分析すること。

提案手法

• 要約生成、質問生成（SQuADから）、含意生成（SNLIを生成タスク形式に変換）の3タスクを統合したマルチタスク学習フレームワークを導入する。
• エンコーダーとデコーダーの各レイヤーを共有するシーケンス・トゥ・シーケンスアーキテクチャを採用し、上位レイヤー（意味的）はタスク間でソフトに共有するが、下位レイヤー（語彙的・構文的）は共有しない。
• 微分可能なゲーティング機構を用いて、タスクごとに共有パラメータの寄与度を動的に制御するソフトパラメータ共有を採用する。
• 各タスクの初期化に事前学習済みモデルを活用することで、学習時間を著しく短縮する。
• 論理的整合性と事実の正確性を評価するために、最先端の含意分類器とNERベースの不要事実検出手法を適用する。
• SQuADで学習済みの分類器を用いたキーワードベースの顕著性検出法を採用し、正解要約と生成要約の重複度を測定する。

実験結果

リサーチクエスチョン

• RQ1 質問生成の学習によって、モデルのドキュメント内における顕著な情報の検出能力が向上するか？
• RQ2 含意生成のタスクが、幻覚の低減と要約の論理的整合性の向上に寄与するか？
• RQ3 ソフトでハイレベルなレイヤー特化型パラメータ共有は、ハード共有や共有なしの手法よりも効果的か？
• RQ4 マルチタスクモデルは、DUC-2002の転移設定のような低リソース環境において、どのように一般化するか？
• RQ5 含意確率と名前付きエンティティの重複度という指標で測定した場合、補助タスクは事実の整合性と顕著性検出の向上にどの程度寄与するか？

主な発見

• 要約生成＋質問生成＋含意生成の3タスク連携モデルは、CNN/DailyMail、Gigaword、DUC-2002のすべてで最先端の性能を達成し、含意タスクでp < 0.001、顕著性タスクでp < 0.01の有意差を示した。
• ベースラインと比較して、要約内の不要な名前付きエンティティを17.2%削減し、事実の整合性が向上した。
• 2タスクの質問生成モデルは、ベースラインと比較して2つ以上の追加顕著キーワードを特定するケースが93件多く、顕著性検出能力が向上した。
• 要約の抽象的表現の度合いが上昇し、生成要約に10.66%の新しい4-gramが含まれていた（See et al., 2017の9.72%と比較）。これは、より強い再表現能力を示している。
• 要約文が元ドキュメントから論理的に含意される確率が顕著に上昇した（p < 0.001）、論理的整合性の向上が裏付けられた。
• 定性的分析の結果、モデルは「john hartson」や「hampden injustice」のような非含意的表現の生成を回避し、キーポイントとなる顕著エンティティ「josh meekings」や「hoops」を適切に回復していた。