[論文レビュー] Hierarchical Question Answering for Long Documents

Eunsol Choi, Daniel Hewlett+4 more|arXiv (Cornell University)|Nov 6, 2016

Topic Modeling参考文献 46被引用数 8

ひとこと要約

本論文では、質問に応じてまず高速なモデルで関連する文を特定し、その後により正確なRNNを用いて回答を生成することで、長文書における効率性と性能を向上させる粗-細粒度の質問応答フレームワークを提案する。文の選択を強化学習を用いて回答のみに依存して学習する潜在変数として扱い、長文書QAで最先端の結果を達成した。ベースラインモデル比で3.5倍〜6.7倍の高速化を実現した。

ABSTRACT

We present a framework for question answering that can efficiently scale to longer documents while maintaining or even improving performance of state-of-the-art models. While most successful approaches for reading comprehension rely on recurrent neural networks (RNNs), running them over long documents is prohibitively slow because it is difficult to parallelize over sequences. Inspired by how people first skim the document, identify relevant parts, and carefully read these parts to produce an answer, we combine a coarse, fast model for selecting relevant sentences and a more expensive RNN for producing the answer from those sentences. We treat sentence selection as a latent variable trained jointly from the answer only using reinforcement learning. Experiments demonstrate the state of the art performance on a challenging subset of the Wikireading and on a new dataset, while speeding up the model by 3.5x-6.7x.

研究の動機と目的

• 長文書を処理する際、RNNベースのQAモデルが逐次計算に起因して並列化が困難であることによる非効率性を解消すること。
• 関連情報が散らばっており、明示的に記載されていない場合が多い長文書QAの性能を向上させること。
• 人間の読解行動を模倣するモジュール型で階層的なQAシステムを構築すること。具体的には、まず全体をスキャンし、その後に重要な文に焦点を当てる。
• 文の選択を潜在変数として扱い、文レベルのアノテーションが不要な回答のみの監視信号に依存して学習すること。

提案手法

• モデルは二段階のアーキテクチャを採用する。まず、高速で粗いエンコーダーが質問に基づいて文書内の関連する文を特定する。
• その後、選択された文のみを入力として使用する、別個の遅延の大きいRNNが最終的な回答を生成する。これにより、文書長に依存しない効率的な計算が可能になる。
• 文の選択は潜在変数としてモデル化され、回答生成と同時に強化学習を用いて最適化される。報酬は回答の正答率に基づいて設計される。
• 強化学習の目的関数は、正解文のアノテーションが不要であり、最終的な回答のみを監視信号として使用する。
• 文の選択にはbag-of-words（BoW）表現を、回答生成にはgated recurrent unit（GRU）を用いる。
• 本手法はWikireading Longと新しいデータセットWikiSuggestに対して評価され、文の選択のサンプリングとモデルの変種に関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 粗-細粒度のQAフレームワークは、推論時間を著しく短縮しつつ、長文書における性能を向上させることができるか？
• RQ2 回答レベルの監視信号のみを用いて、文の選択と回答生成を同時に学習することは、どの程度有効か？
• RQ3 強化学習を用いて文の選択を潜在変数として扱うことで、長文書QAにおいて強力なベースラインを上回ることができるか？
• RQ4 検索エンジンから収集した自然なオープンドメインの質問に対して、合成的またはキュレートされたデータセットと比較して、本モデルの性能はいかがであるか？
• RQ5 モデルの主な失敗モードは何か。キュレートされたデータセットと、ノイズが多い現実世界のQAデータセットでは、その特徴にどのような違いがあるか？

主な発見

• 本モデルは、正解文アノテーションを一切使用しないにもかかわらず、挑戦的なWikireading Longサブセットで最先端の性能を達成した。
• 新規のWikiSuggestデータセットでは、強力なベースラインと同等の性能を発揮しながら、文書エンコーディングにおいて3.5倍〜6.7倍の高速化を達成した。
• ベースラインモデルが文書を切り詰めるのに対し、本モデルは4倍の文書トークンにアクセスしながらも、高い正答率を維持した。
• 手動でのエラー解析の結果、Wikireading Longにおける最も一般的な失敗モードは、文書内に証拠が欠落していることであり、次に長回答の生成エラーが多かった。
• WikiSuggestでは、ノイズの多い質問-回答ペairと誤った答えの推測が頻発したが、それでも本モデルは良好な性能を示し、現実世界のノイズに強いことが示唆された。
• 推論時に2つの関連文をサンプリングすることで、Wikireading Longでの性能が向上した。これは、困難なケースにおいて複数の候補文が役立つことを示している。