[論文レビュー] Commonsense for Generative Multi-Hop Question Answering Tasks

Lisa Bauer, Yicheng Wang+1 more|arXiv (Cornell University)|Sep 17, 2018

Topic Modeling参考文献 38被引用数 14

ひとこと要約

本論文は、ConceptNetから得られる外部の一般常識知識を統合した、マルチホップ生成型質問応答モデルを提案する。本手法では、ポイントワイズ相互情報量（PMI）と語句頻度に基づく新規な選択手法と、選択的ゲーテッドアテンションメカニズム（NOIC）を用いて、この知識を統合する。本アプローチはNarrativeQAで新たなSOTAを達成し、Rouge-Lを41.49から44.16へ、METEORを17.33から19.03へ向上させた。人的評価でも回答品質の向上が確認された。

ABSTRACT

Reading comprehension QA tasks have seen a recent surge in popularity, yet most works have focused on fact-finding extractive QA. We instead focus on a more challenging multi-hop generative task (NarrativeQA), which requires the model to reason, gather, and synthesize disjoint pieces of information within the context to generate an answer. This type of multi-step reasoning also often requires understanding implicit relations, which humans resolve via external, background commonsense knowledge. We first present a strong generative baseline that uses a multi-attention mechanism to perform multiple hops of reasoning and a pointer-generator decoder to synthesize the answer. This model performs substantially better than previous generative models, and is competitive with current state-of-the-art span prediction models. We next introduce a novel system for selecting grounded multi-hop relational commonsense information from ConceptNet via a pointwise mutual information and term-frequency based scoring function. Finally, we effectively use this extracted commonsense information to fill in gaps of reasoning between context hops, using a selectively-gated attention mechanism. This boosts the model's performance significantly (also verified via human evaluation), establishing a new state-of-the-art for the task. We also show promising initial results of the generalizability of our background knowledge enhancements by demonstrating some improvement on QAngaroo-WikiHop, another multi-hop reasoning dataset.

研究の動機と目的

• 長く複雑な物語における生成型マルチホップQAの課題に対処すること。ここでは、分離した証拠と暗黙の推論から答えを統合的に生成する必要がある。
• 文脈のホップ間の推論ギャップを埋めるために、関連する背景一般常識知識を同定・統合すること。
• 推論に有用で、根拠に基づいたマルチホップ関係の一般常識パスを、ConceptNetから選択する手法を開発すること。
• 生成型で非抽出型のQAベンチマーク（例：NarrativeQA）における一般常識統合の有効性を評価し、他のデータセットへの一般化可能性を検証すること。

提案手法

• エンドツーエンドの生成を可能にするために、複数の双方向アテンション層とポインタジェネレータデコーダーを備えたマルチホップポインタジェネレータモデル（MHPGM）を提案する。
• ポイントワイズ相互情報量（PMI）と語句頻度を組み合わせたスコア関数を導入し、ConceptNetから関連性があり根拠に基づいたマルチホップ一般常識パスを選択する。
• 選択された一般常識を動的に統合するために、必要な情報とオプションの情報のセル（NOIC）を設計し、選択的ゲーテッドアテンションメカニズムを用いる。
• 一般常識拡張モデルをNarrativeQAに適用し、自動指標と人的評価を用いて性能を評価する。
• QAngaroo-WikiHop（抽出型マルチホップデータセット）への適用により、本手法の一般化可能性を検証し、有望な向上が得られた。

実験結果

リサーチクエスチョン

• RQ1 推論ギャップを埋めるために外部一般常識知識を統合することで、生成型マルチホップQAモデルの性能を著しく向上させられるか？
• RQ2 ConceptNetのような大規模知識グラフから、関連性があり根拠に基づいたマルチホップ一般常識関係を自動的に選択する方法は何か？
• RQ3 ゲーテッドアテンションメカニズムを介して選択された一般常識知識を統合することで、複雑な物語における回答生成品質に測定可能な向上が得られるか？
• RQ4 一般常識選択と統合手法は、NarrativeQAにとどまらず、他のマルチホップQAデータセットに対しても一般化可能か？

主な発見

• MHPGMベースラインモデルは、NarrativeQAの要約サブタスクでRouge-Lが41.49、METEORが17.33を達成し、以前の生成型モデルを上回った。
• PMIと語句頻度に基づく一般常識選択手法により、性能が著しく向上し、Rouge-Lは44.16、METEORは19.03に向上した。
• 人的評価では、一般常識拡張モデルが23%のケースでベースラインより優れた回答を生成し、41%のケースでは区別がつかない（両方良い）と判断され、高品質な生成が実現した。
• 本手法は一般化可能である：ベースラインに一般常識知識を追加することで、QAngaroo-WikiHopでも性能向上が得られ、より広範な適用可能性が示唆された。
• アブレーションスタディでは、ランダム選択、単一ホップ、根拠のない一般常識では性能向上が得られず、本研究で提案した選択・統合手法による統計的有意な向上が確認された。
• 手動分析の結果、NarrativeQAの50%の質問が外部一般常識を必要としており、本手法はそのうち34%のケースで関連する知識を正しく同定できた。