[論文レビュー] Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering

Akari Asai, Kazuma Hashimoto+3 more|arXiv (Cornell University)|Nov 24, 2019

Topic Modeling参考文献 37被引用数 146

ひとこと要約

グラフベースのリカレントリトリーバを導入し、Wikipediaのパラグラフグラフ上のマルチホップ推論パスを学習して取得、リーダーと組み合わせて質問に答える；HotpotQA full wikiで最先端を達成し、SQuAD OpenとNatural Questions Openで強力な結果。

ABSTRACT

Answering questions that require multi-hop reasoning at web-scale necessitates retrieving multiple evidence documents, one of which often has little lexical or semantic relationship to the question. This paper introduces a new graph-based recurrent retrieval approach that learns to retrieve reasoning paths over the Wikipedia graph to answer multi-hop open-domain questions. Our retriever model trains a recurrent neural network that learns to sequentially retrieve evidence paragraphs in the reasoning path by conditioning on the previously retrieved documents. Our reader model ranks the reasoning paths and extracts the answer span included in the best reasoning path. Experimental results show state-of-the-art results in three open-domain QA datasets, showcasing the effectiveness and robustness of our method. Notably, our method achieves significant improvement in HotpotQA, outperforming the previous best model by more than 14 points.

研究の動機と目的

• ウェブ規模のテキストを必要とするマルチホップ推論を要するオープンドメインQAを動機付ける。
• Wikipediaのパラグラフグラフをナビゲートして推論パスを組み立てることを学習するリトリーバを開発する。
• リトリーバをリーダーと組み合わせてパスをランク付けし、最良のパスから回答を抽出する。
• リトリーバとリーダーの両方に対してデータ拡張とネガティブサンプリングを用いて頑健性を向上させる。
• 複数のQAデータセットにおいて高い性能と解釈性を示す。

提案手法

• ハイパーリンクと記事内リンクを有向エッジとして用い、Wikipediaのパラグラフグラフを構築する。
• パラグラフをノードとして表現し、 prior selections に条件づけて連続的にパラグラフを選択するRNNベースのリトリーバを訓練する。
• 推論パスを探索するためにビームサーチを用い、候補をTF-IDFリトリーバで初期化する。
• 監視付きのグラウンドトゥルーのパスと拡張パスおよびネガティブ例を用いてリトリーバ損失を最適化するよう訓練する。
• BERTベースのリーダーを拡張し、マルチタスク学習を用いて回答スパン抽出と推論パスの再ランク付けを共同で行う。
• 推論時には上位の推論パスをリーダーに渡して最良のパスを選択し、回答スパンを抽出する。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのリカレントリトリーバは、大規模なWikipediaのパラグラフグラフ上で効果的にマルチホップ推論パスを学習できるのか？
• RQ2 パスに対応したリトリーバとリーダーを統合することで、マルチホップタスクにおけるオープンドメインQAの性能は向上するか？
• RQ3 データ拡張とネガティブサンプリングは、リトリーバとリーダーの訓練の頑健性と精度にどのように影響するか？
• RQ4 HotpotQA、SQuAD Open、Natural Questions Open のようなデータセットに対してこのアプローチは頑健か？
• RQ5 このフレームワークにおける任意ステップ推論と固定ステップのリトリーバの影響はどのようか？

主な発見

• HotpotQA full wiki および distractor 設定で最先端の結果を達成し、従来手法に対して大きな改善を示す。
• SQuAD Openで従来モデルを上回り、Natural Questions Openでは最先端と同等またはそれを上回る。
• グラフ上の連続推論パスを学習し、訓練時にハイパーリンクベースのネガティブを使用することからリトリーバの利得が得られる。
• リトリーバとリーダーの相互作用は重要で、アブレーションで部品を削除すると性能が顕著に低下する。
• 適応的で任意ステップのリトリーバが固定ステップ法を上回り、明示的なハイパーリンクグラフの有無に関わらずモデルは有効である。