[論文レビュー] Revealing the Importance of Semantic Retrieval for Machine Reading at Scale

Yixin Nie, Songhe Wang+1 more|arXiv (Cornell University)|Sep 17, 2019

Topic Modeling参考文献 22被引用数 7

ひとこと要約

本稿では、スケールの大きな機械学習読解（MRS）のための階層的意味的検索パイプラインを提案する。段落および文レベルのニューラル検索を統合することで、下流の事実検証およびマルチホップQAの性能を向上させる。FEVER（67.26% FEVERスコア）およびHotpotQA（45.32%回答EM、25.14%ジョイントEM）で最先端の結果を達成し、意味的検索が高品質なデータを形成し、下流の性能を向上させることの重要性を示している。

ABSTRACT

Machine Reading at Scale (MRS) is a challenging task in which a system is given an input query and is asked to produce a precise output by "reading" information from a large knowledge base. The task has gained popularity with its natural combination of information retrieval (IR) and machine comprehension (MC). Advancements in representation learning have led to separated progress in both IR and MC; however, very few studies have examined the relationship and combined design of retrieval and comprehension at different levels of granularity, for development of MRS systems. In this work, we give general guidelines on system design for MRS by proposing a simple yet effective pipeline system with special consideration on hierarchical semantic retrieval at both paragraph and sentence level, and their potential effects on the downstream task. The system is evaluated on both fact verification and open-domain multihop QA, achieving state-of-the-art results on the leaderboard test sets of both FEVER and HOTPOTQA. To further demonstrate the importance of semantic retrieval, we present ablation and analysis studies to quantify the contribution of neural retrieval modules at both paragraph-level and sentence-level, and illustrate that intermediate semantic retrieval modules are vital for not only effectively filtering upstream information and thus saving downstream computation, but also for shaping upstream data distribution and providing better data for downstream modeling. Code/data made publicly available at: https://github.com/easonnie/semanticRetrievalMRS

研究の動機と目的

• スケールの大きな機械学習読解（MRS）システムにおける、複数の粒度での意味的検索の役割を調査すること。
• カバレッジを最適化するのではなく精度を重視しないMRSシステム設計における整合性の欠如を是正すること。これにより、下流の性能が最適でなくなる。
• 有効なMRSの実現に段落レベルおよび文レベルの検索モジュールの両方が不可欠であるという実証的証拠を提供すること。
• 中間段階の意味的検索が、下流の理解モジュールが受けるデータ分布をどのように形作るかを示すこと。
• 検索モジュールと理解モジュールの相互作用を分析することで、MRSシステムの一般的な設計指針を提示すること。

提案手法

• 本システムは、語彙ベースの検索に続き、ニューラル段落レベルおよび文レベルの検索モジュールを備えた階層的パイプラインを採用する。
• 段落レベルの検索は、密な意味的表現を用いて候補となるパassageをフィルタリングし、上流のノイズを低減する。
• 文レベルの検索は、文脈を考慮した文の埋め込みを用いて、下流タスクの精度を向上させるために、証拠選択をさらに精緻化する。
• 下流のニューラルモジュールは、取得した証拠を用いて答えの予測または検証を実行し、エンドツーエンドで訓練される。
• 両レベルの検索閾値は、精度と再現率のバランスを取るために調整され、アブレーションスタディによってその影響が評価されている。
• フレームワークはFEVERおよびHotpotQAで評価され、中間段階の証拠アノテーションにより、正確な検索評価が可能になっている。

実験結果

リサーチクエスチョン

• RQ1 段落レベルの意味的検索は、MRSシステムの下流性能にどのように影響するか？
• RQ2 文レベルの意味的検索は、マルチホップQAおよび事実検証における答えの正確性および証拠選択にどのような影響を与えるか？
• RQ3 中間段階の検索は、下流の理解モジュールが受けるデータ分布をどの程度形作るか？
• RQ4 なぜ答えの予測性能は、証拠検索性能とは異なる検索閾値でピークを迎えるのか？
• RQ5 検索モジュールと理解モジュールを同時に最適化することで、全体的なMRS性能が向上するか？

主な発見

• HotpotQAでは45.32%の回答EMおよび25.14%のジョイントEMを達成し、先行研究と比較して回答EMで8%の絶対的向上、ジョイントEMは倍増した。
• FEVERでは67.26%のFEVERスコアを達成し、以前に発表されたシステムと比較して3%の絶対的向上を示した。
• 段落レベルの検索は不可欠である。これを削除すると、特に誤った情報を除外する能力が著しく低下し、性能が著しく低下する。
• 文レベルの検索も同様に重要であり、段落レベルの検索が存在しても、文レベルの検索が欠落すると性能が劣化する。
• 下流のQAモジュールは、文レベルでの高い再現率を享受しており、答えのEMは閾値 $ h_s = 0.2 $ でピークに達するが、証拠F1は $ h_s = 0.5 $ でピークに達する。これは、検索と理解の間で性能の不一致があることを示している。
• 検証モジュールはQAモジュールよりも文レベルの検索品質に敏感である。FEVERスコアおよびラベル精度が $ h_s = 0.2 $ でピークに達していることから明らかである。