[論文レビュー] Can Open-Domain QA Reader Utilize External Knowledge Efficiently like Humans?

Neeraj Varshney, Man Luo+1 more|arXiv (Cornell University)|Nov 23, 2022

Topic Modeling被引用数 10

ひとこと要約

本稿では、閉形式推論と反復的・信頼度ベースの外部知識取得を組み合わせることで、動的で人間の知識活用にインspiredされた知識読取戦略を、オープンドメイン質問応答のためのものとして提案する。必要な箇条書のみを段階的に読み込む（初期は少数から始め、必要に応じて増加）ことで、SOTAのFusion-in-Decoderモデルと比較して推論コストを81.68%削減しつつ、NQ Openで最高55.10%の精度を達成する。

ABSTRACT

Recent state-of-the-art open-domain QA models are typically based on a two stage retriever-reader approach in which the retriever first finds the relevant knowledge/passages and the reader then leverages that to predict the answer. Prior work has shown that the performance of the reader usually tends to improve with the increase in the number of these passages. Thus, state-of-the-art models use a large number of passages (e.g. 100) for inference. While the reader in this approach achieves high prediction performance, its inference is computationally very expensive. We humans, on the other hand, use a more efficient strategy while answering: firstly, if we can confidently answer the question using our already acquired knowledge then we do not even use the external knowledge, and in the case when we do require external knowledge, we don't read the entire knowledge at once, instead, we only read that much knowledge that is sufficient to find the answer. Motivated by this procedure, we ask a research question "Can the open-domain QA reader utilize external knowledge efficiently like humans without sacrificing the prediction performance?" Driven by this question, we explore an approach that utilizes both 'closed-book' (leveraging knowledge already present in the model parameters) and 'open-book' inference (leveraging external knowledge). Furthermore, instead of using a large fixed number of passages for open-book inference, we dynamically read the external knowledge in multiple 'knowledge iterations'. Through comprehensive experiments on NQ and TriviaQA datasets, we demonstrate that this dynamic reading approach improves both the 'inference efficiency' and the 'prediction accuracy' of the reader. Comparing with the FiD reader, this approach matches its accuracy by utilizing just 18.32% of its reader inference cost and also outperforms it by achieving up to 55.10% accuracy on NQ Open.

研究の動機と目的

• 固定された大規模な取得パラメータに依存する最先端のオープンドメインQAリーダーの高い推論コストを解消すること。
• 動的で必要な知識のみを読み込むことで、計算コストを著しく削減しつつ、高い予測精度を達成できるかどうかを調査すること。
• 反復的知識取得を伴うハイブリッド閉形式／開形式推論戦略が、効率性と正確性の両面で改善をもたらすかどうかを検討すること。
• QAにおける人間の推論をモデル化する：まず内部知識から答えを予測し、信頼度が低い場合にのみ段階的に外部知識にアクセスする。

提案手法

• モデルパラメータに埋め込まれた知識のみに依存して答えを予測する閉形式リーダーモデル（例：T5-large）を最初に使用する。
• 予測の信頼度がしきい値未満の場合、外部知識リトリーバーを用いて開形式推論を開始する。
• 反復的知識読取を適用：初期は少数のパラグラフ（例：S₁=10）から始め、信頼度が低い場合にのみ数を増加（S₂=20、S₃=100）する。
• 信頼度スコアを停止基準として用い、過剰なパラグラフへの依存を回避する。
• 複数の知識反復からの予測を、信頼度に基づいて最良の出力を選択する段階的システムで統合する。
• FLOPsで効率性を測定し、NQおよびTriviaQAでの性能を正確一致（EM）とAUC指標で評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的手法と比較して、外部パラグラフの数を著しく減らしても、リーダーモデルが高い予測精度を達成できるか？
• RQ2 固定された大規模な取得と比較して、複数段階の反復的知識読取により、効率性と正確性が向上するか？
• RQ3 ハイブリッド閉形式／開形式推論戦略により、計算コストを削減しつつ、答えの質を損なわずに済ますことができるか？
• RQ4 同じ合計パラグラフ数を用いる場合、1回の大きな取得ステップと比較して、複数の知識反復（例：K=2またはK=3）に明確な利点があるか？
• RQ5 Fusion-in-Decoder（FiD）のような最先端モデルに匹敵またはそれを上回る性能を達成しつつ、はるかに少ないFLOPsで実現できるか？

主な発見

• 提案手法は、NQ Openベンチマークで最高55.10%の正確一致精度を達成し、FiD、RAG、DPRを含むすべての比較ベースラインを上回った。
• FiD（ベース）モデルと同等の正確一致精度（20.19×10¹¹ FLOPs）を達成したが、推論コストはわずか3.69×10¹¹ FLOPsにまで削減され、81.68%の削減が達成された。
• FiD（ラージ）モデル（70.69×10¹¹ FLOPs）と同等の精度を、20.59×10¹¹ FLOPsで達成し、コストを71.1%削減した。
• 2段階の知識反復（K=2）を用いた段階的システムは、同じ合計パラグラフ数を用いた1段階の取得と比較して、AUCが46.25（対象：43.56）と高い結果を示し、反復的読取の利点を裏付けた。
• TriviaQAでは72.33%の精度を達成し、既存手法を上回りつつも高い効率性を維持した。
• 同じFLOPコスト下でも、ベースラインの開形式モデル（OB₁）と比較して、本システムは精度を向上させた。例えば、0.2×10¹¹ FLOPsで48.98%の精度を達成したのに対し、OB₁は46.78%であった。