[論文レビュー] Multi-hop Inference for Question-driven Summarization

Yang Deng, Wenxuan Zhang+1 more|arXiv (Cornell University)|Oct 8, 2020

Topic Modeling参考文献 42被引用数 5

ひとこと要約

本稿では、非事実的質問に対する要約のための新しい抽象的要約モデルであるマルチホップ選択的ジェネレータ（MSG）を提案する。このモデルは、ドキュメント全体にわたる根拠文を特定するためにマルチホップ推論を統合し、質問の関連性と文同士の関係性を同時にモデル化する人間のような推論モジュールと、マルチビューのカバレッジを備えたゲート付き選択的ポインタジェネレータを用いる。MSGは、WikiHowおよびPubMedQAで最先端の手法を上回る包括的で情報量が多く、解釈可能な根拠証拠を提供する要約を生成する。

ABSTRACT

Question-driven summarization has been recently studied as an effective approach to summarizing the source document to produce concise but informative answers for non-factoid questions. In this work, we propose a novel question-driven abstractive summarization method, Multi-hop Selective Generator (MSG), to incorporate multi-hop reasoning into question-driven summarization and, meanwhile, provide justifications for the generated summaries. Specifically, we jointly model the relevance to the question and the interrelation among different sentences via a human-like multi-hop inference module, which captures important sentences for justifying the summarized answer. A gated selective pointer generator network with a multi-view coverage mechanism is designed to integrate diverse information from different perspectives. Experimental results show that the proposed method consistently outperforms state-of-the-art methods on two non-factoid QA datasets, namely WikiHow and PubMedQA.

研究の動機と目的

• 非事実的QAにおける文間依存関係を捉えられず、構造的推論が欠如している既存のクエリベース要約手法の限界を是正すること。
• ソースドキュメントから重要な情報を特定・根拠づけるために、マルチホップ推論を支援する質問駆動型抽象的要約モデルの開発。
• 複数の視点からのカバレッジ機構を用いて繰り返しを低減しつつ、要約の整合性と情報量を維持すること。
• 複数の推論ホップにわたる文の重要度をモデル化することで、解釈可能な根拠文を提供すること。

提案手法

• 単語レベルおよび文レベルでの文の重要度を評価するマルチホップ推論モジュールを設計し、質問への意味的関連性と文間の一貫性の両方をモデル化する。
• ゲート付き選択的ポインタジェネレータネットワークを用いて、ドキュメントおよび質問から動的に関連コンテンツに注目し、複数の推論ホップからの情報を統合する。
• 質問およびドキュメント内の同じトークンに対して繰り返し注目を向けるのを防ぐために、マルチビューのカバレッジ機構を導入し、生成における繰り返しを低減する。
• アテンション機構を用いて文の重要度スコアを計算し、ホップごとに正規化してコンテンツ選択をガイドする。実践的に3ホップが最適であると判明した。
• 系列から系列への学習目的を用いて、回答の流暢さ、事実の整合性、根拠の完全性を同時に最適化する。
• 本モデルは、2つの非事実的QAベンチマーク、WikiHowおよびPubMedQAで訓練および評価され、ホップ数およびカバレッジ機構に関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 マルチホップ推論は、非事実的質問の要約におけるコンテンツ選択と根拠の明確化を向上させることができるか？
• RQ2 文レベルの相互関係モデリングの統合は、生成された要約の質および一貫性をどのように向上させるか？
• RQ3 標準的なカバレッジ機構と比較して、マルチビューのカバレッジ機構は抽象的要約における繰り返しをどの程度低減するか？
• RQ4 提案手法は、従来の抽出的および抽象的ベースラインを上回り、情報量が多く正確な回答を生成できるか？
• RQ5 異なる数の推論ホップ（1、2、3）は、モデルの性能と一般化能力にどのような影響を及えるか？

主な発見

• 提案されたMSGモデルは、WikiHowおよびPubMedQAの両データセットで最先端の性能を達成し、ROUGEおよびBLEU指標において、既存の抽象的および抽出的ベースラインを上回った。
• ホップ数が増えるに従い性能が向上し、3ホップまで向上するが、それ以上では平坦化またはわずかに低下する傾向を示し、3ホップがモデルの適切なハイパーパrameterであることが示された。
• 3ホップバージョンのMSGは、第1ホップおよび第3ホップの推論文から必要な情報を的確に捉え、包括的かつ正確な要約生成を可能にした。
• マルチビューのカバレッジ機構は、生成された回答におけるn-gramの重複を顕著に低減し、繰り返しの低減において元のカバレッジ機構を上回った。
• 事例スタディでは、MSG（3ホップ）が包括的かつ根拠のある要約を生成している一方、1ホップおよび2ホップバージョンはマルチホップ推論が必要な状況で重要な情報を漏らしていた。
• QPGN、QS、SD2などのベースラインは、重要な情報を捉えられず、不適切な内容を生成するなど、MSGの推論に配慮したアーキテクチャの優位性が顕著に現れた。