[論文レビュー] Learning to Attend On Essential Terms: An Enhanced Retriever-Reader Model for Open-domain Question Answering

Jianmo Ni, Chenguang Zhu+2 more|arXiv (Cornell University)|Aug 28, 2018

Topic Modeling参考文献 21被引用数 6

ひとこと要約

この論文では、質問内の重要語に注目するように学習することで、オープンドメインの複数選択式質問応答を改善する強化されたリtriever-readerモデル、ET-RRを提案する。ET-Netと呼ばれる重要語選別器によりキーワードを特定し、より良い証拠抽出のためのクエリ再定式化を行う。それに加え、重要語と余計な語を区別する注目メカニズムを強化したリーダーを組み合わせ、ARCデータセットで36.61%のテスト精度を達成し、当時における最先端性能を実現した。

ABSTRACT

Open-domain question answering remains a challenging task as it requires models that are capable of understanding questions and answers, collecting useful information, and reasoning over evidence. Previous work typically formulates this task as a reading comprehension or entailment problem given evidence retrieved from search engines. However, existing techniques struggle to retrieve indirectly related evidence when no directly related evidence is provided, especially for complex questions where it is hard to parse precisely what the question asks. In this paper we propose a retriever-reader model that learns to attend on essential terms during the question answering process. We build (1) an essential term selector which first identifies the most important words in a question, then reformulates the query and searches for related evidence; and (2) an enhanced reader that distinguishes between essential terms and distracting words to predict the answer. We evaluate our model on multiple open-domain multiple-choice QA datasets, notably performing at the level of the state-of-the-art on the AI2 Reasoning Challenge (ARC) dataset.

研究の動機と目的

• 直接関連する証拠が存在しない場合に、間接的に関連する証拠を抽出する課題に対処すること。
• 回答が直接的に文章から抽出できないような、複雑で自由形式の複数選択式QAタスクの性能を向上させること。
• 質問および回答選択肢内の重要語を特定し、それらに注目することで、証拠抽出と読解理解を向上させること。
• 遠隔教師あり学習に依存するのを減らすために、複雑な推論タスクにおける証拠抽出を改善するクエリ再定式化戦略を開発すること。

提案手法

• 重要語選別器（ET-Net）としての再帰的ニューラルネットワークを用い、質問内の各単語を重要語または非重要語に分類することで、キーワードのみを用いたクエリ再定式化を可能にする。
• 質問からの重要語と各回答選択肢を組み合わせた再定式化クエリを用いて、検索エンジンから支援証拠を抽出する。
• 三つ組（質問、回答選択肢、抽出された本文）を処理する注目強化リーダーは、クロス注目と統合層を用いて表現を精緻化する。
• 選択肢間の意味的差異と関係を明示的にモデル化するための選択肢連携モジュールを導入し、回答予測を改善する。
• 注目メカニズムを用いて重要コンテンツに焦点を当てるエンドツーエンドで学習可能なフレームワークとして、証拠理解と回答選択を統合する。
• 複数選択ラベルからの監視を用いて、回答の正確性を最適化するように、リtrievalとリーディングのパイプラインを共同で学習する。

実験結果

リサーチクエスチョン

• RQ1 質問内の重要語を特定することで、複雑なオープンドメインの複数選択式質問に対する証拠抽出が改善されるか？
• RQ2 全質問に注目する標準的な注目メカニズムと比較して、重要語に注目するアプローチが回答予測をどのように向上させるか？
• RQ3 重要語を用いたクエリ再定式化は、直接的な質問や回答選択肢の連結と比較して、より良い支援証拠の抽出をもたらすか？
• RQ4 モデルの性能は、重要語抽出の品質と証拠抽出の品質のどちらにどれほど依存しているか？
• RQ5 証拠が間接的または希少な場合に、注目強化リーダーは複数の本文と回答選択肢を効果的に処理して推論を行うことができるか？

主な発見

• ET-RRモデルはARCテストセットで36.61%の精度を達成し、執筆時（2018年9月）のリーダーボード上位ソリューションをすべて上回った。
• ET-Netである重要語選別器は、TF-IDFに基づく語選別を含むさまざまなベースラインを、異なるリtrieval top-k設定において一貫して上回った。
• K=10の際に性能が最適化され、開発セットでは38.59%、テストセットでは36.61%の精度を達成した。
• 開発セットではTF-IDFベースラインから4%の向上を示し、神経ネットワークによる語選別がヒューリスティック手法よりも効果的であることが示された。
• 誤差解析の結果、主な失敗モードは「抽出された証拠を適切に推論できていない」ことと「関連する証拠を抽出できていない」こと、特に概念的知識を要する質問で顕著であった。
• テストセットではTF-IDFベースラインからの改善がわずか1.4%程度にとどまり、未学習データへの一般化における重要語同定の困難さが示された。