[論文レビュー] Pruning the Index Contents for Memory Efficient Open-Domain QA

Martin Fajčík, Martin Dočekal+2 more|arXiv (Cornell University)|Jan 1, 2021

Topic Modeling参考文献 45被引用数 4

ひとこと要約

この論文では、質問文の文脈を用いずにタイトルとコンテンツの連結に基づいてスコアを付ける二値の事前関連性分類器を用いてコンテンツベースのプルーニングにより、巨大な知識ベースを92%削減するメモリ効率の良いオープンドメインQAパイプラインR2-D2を紹介している。NaturalQuestionsで最先端の性能を達成しており、EM正答率はわずか3%低下するが、6GBのDockerイメージに収容可能である。

ABSTRACT

This work presents a novel pipeline that demonstrates what is achievable with a combined effort of state-of-the-art approaches. Specifically, it proposes the novel R2-D2 (Rank twice, reaD twice) pipeline composed of retriever, passage reranker, extractive reader, generative reader and a simple way to combine them. Furthermore, previous work often comes with a massive index of external documents that scales in the order of tens of GiB. This work presents a simple approach for pruning the contents of a massive index such that the open-domain QA system altogether with index, OS, and library components fits into 6GiB docker image while retaining only 8% of original index contents and losing only 3% EM accuracy.

研究の動機と目的

• オープンドメインQAシステムの高いメモリ消費量、特に巨大なドキュメントインデックスに要する数十GiBのメモリを軽減すること。
• ファクトイドQAタスクにおいて、インデックス化されたパラグラフの大部分が冗長または関連がない可能性があるかを調査すること。
• インデックスサイズを大幅に削減しながらも高いパフォーマンスを維持するメモリ効率の良いQAパイプラインを開発すること。
• 将来の研究のためのベンチマークシステムとして、リtriever、リランク、抽出型読解、生成型読解の4つのコンponentを統合すること。
• パラグラフ内に強い事前関連性パターンが存在するという事実を踏まえ、現在のオープンドメインQAデータセットが本当に「オープン」であるかどうかを検討すること。

提案手法

• 質問文の文脈を一切使用せず、タイトルとコンテンツの連結に基づいてスコアを付ける二値の事前関連性分類器（プルーナ）を提案。ゴールドパラグラフと非ゴールドパラグラフの二値交差エントロピー損失を用いる。
• 閾値τを適用し、P(r|pi) > τ を満たすパラグラフのみを保持することで、インデックスサイズを削減しながらも検索品質を維持する。
• リトリーバ → パラグラフリランク → 抽出型読解 → 生成型読解の順序で構成されるR2-D2パイプラインを導入。2段階の集約処理を実施。
• 質問とパラグラフの細かい相互作用を捉えるために、クロスエンコーダー形式のトランスフォーマーをパラグラフリランクに採用。
• ターゲットパラグラフを独立して周辺化する新しい抽出型読解損失関数を導入し、スパン予測の精度を向上。
• 抽出型読解と生成型読解の出力をスコア集約により統合し、より高い耐性と正確性を実現。

実験結果

リサーチクエスチョン

• RQ1 オープンドメインQAインデックス内のパラグラフの大部分を、顕著なパフォーマンス低下を伴わずにプルーニング可能か？
• RQ2 質問文の文脈なしにパラグラフの内容のみに基づく事前関連性分類器が、QA関連性に意味のある信号を捉えられるか？
• RQ3 インデックスサイズをどの程度まで削減できるか、かつオープンドメインQAで競争力のあるEM正答率を維持できるか？
• RQ4 抽出型読解と生成型読解の両方を含むマルチコンponentパイプラインは、単一読解システムに比べて性能をどの程度向上できるか？
• RQ5 パラグラフ内に強い事前関連性が存在するという事実から、現在のオープンドメインQAデータセットは、想定されているほど「オープン」ではないのだろうか？

主な発見

• 提案されたプルーニング手法により、インデックスサイズは92%削減され、元のパラグラフの8%のみが保持されたが、NaturalQuestionsにおけるEM正答率の低下はわずか3%にとどまった。
• プルーニング済みインデックスは、OS、ライブラリ、すべてのシステムコンponentを含めて6GBのDockerイメージに収容可能であり、標準的なGPUでのデプロイが可能である。
• R2-D2パイプラインはNaturalQuestionsベンチマークで最先端のパフォーマンスを達成し、先行するシステムを上回った。
• 効率的QAコンペティションでも上位にランクインし、その耐性と効率性が裏付けられた。
• Karpukhinら（2020）のパラグラフ埋め込みは、プルーナが捉えるのと同じ事前関連性信号を内蔵していることが判明し、手法の整合性が裏付けられた。
• 事前関連性分類器は、質問文の文脈なしに関連パラグラフを的確に特定できており、パラグラフの内容そのものがQA関連性を強く予測する信号を内蔵していることが示された。