[論文レビュー] Real-Time Open-Domain Question Answering with Dense-Sparse Phrase Index

Minjoon Seo, Jinhyuk Lee+4 more|arXiv (Cornell University)|Jun 13, 2019

Topic Modeling参考文献 33被引用数 17

ひとこと要約

本稿では、クエリに依存しない密度的・疎行列のフレーズインデキシングを用いることで、高速でスケーラブルな推論を可能にするリアルタイムオープンドメイン質問応答システムDenSPIを紹介する。密度的および疎行列のベクトルを併用してフレーズを統合的に符号化し、事前にインデキシングすることで、DenSPIはCPU上でDrQAに比べてエンドツーエンドの推論が58倍速くなり、SQuAD-Openで最先端の精度を維持する。計算コストは6,000倍低減され、正確一致スコア（EM）は6.4%高い。

ABSTRACT

Existing open-domain question answering (QA) models are not suitable for real-time usage because they need to process several long documents on-demand for every input query. In this paper, we introduce the query-agnostic indexable representation of document phrases that can drastically speed up open-domain QA and also allows us to reach long-tail targets. In particular, our dense-sparse phrase encoding effectively captures syntactic, semantic, and lexical information of the phrases and eliminates the pipeline filtering of context documents. Leveraging optimization strategies, our model can be trained in a single 4-GPU server and serve entire Wikipedia (up to 60 billion phrases) under 2TB with CPUs only. Our experiments on SQuAD-Open show that our model is more accurate than DrQA (Chen et al., 2017) with 6000x reduced computational cost, which translates into at least 58x faster end-to-end inference benchmark on CPUs.

研究の動機と目的

• クエリごとに文書を再処理する必要があるため、既存のオープンドメインQAシステムの推論遅延が高いための課題を解決すること。
• クエリに依存しない事前の文書フレーズインデキシングにより、リアルタイムかつスケーラブルな質問応答を可能にすること。
• 密度的意味的表現と疎的語彙的表現を組み合わせることで、オープンドメインQAにおけるリtrievalの多様性と正確性を向上させること。
• 標準的なハードウェア上で大規模なフレーズインデックスの学習および配信にかかる計算コストとメモリ使用量を削減すること。
• SQuAD-Openのようなオープンドメインベンチマークで、最小限の遅延で高いパフォーマンスを達成すること。

提案手法

• 文脈に依存する密度的ベクトル（例：BERTベース）と疎行列の頻度ベクトルを組み合わせた密度的・疎行列フレーズ符号化を提案。これにより、意味的、構文的、語彙的情報を捉える。
• 開始および終了トークンの位置を用いて、文書のフレーズを固定された表現として符号化し、事前インデキシングと高速なリtrievalを可能にする。
• 推論時に、与えられた質問に対して共有埋め込み空間内での内積検索を用いて、最も関連性の高いフレーズを検索する。
• ウェブスケールのデータ上でスケーラブルかつリアルタイムの推論を実現するため、インデキシングされたフレーズ表現に対して近似最近傍探索を適用する。
• 混合精度学習や効率的なデータロードなどの最適化戦略を採用し、64GBメモリ、2TB SSD搭載の1台の4GPUサーバー上でモデルを学習およびデプロイ可能にする。
• 疎行列と密度的ベクトルのリtrieバルを組み合わせたハイブリッド検索戦略（SFS + DFS）を導入し、カバレッジと正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 クエリに依存しないフレーズインデキシングアプローチは、オープンドメイン質問応答における推論遅延を顕著に短縮できるか？
• RQ2 密度的および疎行列フレーズ表現を組み合わせることで、パイプライン手法に比べてリtrieバルの正確性と多様性はどのように向上するか？
• RQ3 マルチGPUやハイエンドインfraストラクチャを用いずに、標準的なハードウェア上で密度的・疎行列フレーズインデックスを効率的に学習および配信できるか？
• RQ4 近似最近傍探索をハイブリッド密度的・疎行列表現に適用する際の、正確性と速度のトレードオフはどのようなものか？
• RQ5 DrQAのような強力なベースラインと比較して、モデルは長尾や分布外の質問に対してどのように性能を発揮するか？

主な発見

• DenSPIは、事前にインデキシングされたフレーズ表現のおかげで、CPU上でのエンドツーエンドの推論がDrQAに比べて58倍速い。
• 制御された条件下で、DenSPIはDrQAに比べて計算コストを6,000倍低減したが、正確性は維持または向上させた。
• DenSPI -Hybridは、SQuAD-OpenでDrQAに比べて6.4%高い正確一致（EM）スコアを達成し、最良の設定ではF1スコアが6.6%高い。
• 1クエリあたり平均817件の固有ドキュメントから答えを取得したのに対し、DrQAはわずか5件にとどまり、リtrieバルの多様性が顕著に向上している。
• 疎行列ベクトルを除去するとF1スコアが19.6%低下し、これは疎行列ベクトルが意味的に類似しているが語彙的に異なるフレーズを区別する上で極めて重要であることを示している。
• 定性的な分析では、語彙的オーバーラップが少ない状況でもDenSPIが複数のドキュメントから正しく答えを取得できており、特に挑戦的なオープンドメインケースでDrQAを上回っている。