[論文レビュー] SPARTA: Efficient Open-Domain Question Answering via Sparse Transformer Matching Retrieval

Tiancheng Zhao, Xiaopeng Lu+1 more|arXiv (Cornell University)|Sep 28, 2020

Topic Modeling参考文献 51被引用数 4

ひとこと要約

SPARTAは、クエリと回答トークン間のトークンレベルの相互作用をモデル化するスパースニューラルリtrieval手法を導入し、効率的なインverted indexベースのリtrievalを可能にする。英語および中国語の15のタスクにおいて最先端のパフォーマンスを達成し、密度ベクトル法と比較して優れた精度、解釈可能性、効率性を示す。

ABSTRACT

We introduce SPARTA, a novel neural retrieval method that shows great promise in performance, generalization, and interpretability for open-domain question answering. Unlike many neural ranking methods that use dense vector nearest neighbor search, SPARTA learns a sparse representation that can be efficiently implemented as an Inverted Index. The resulting representation enables scalable neural retrieval that does not require expensive approximate vector search and leads to better performance than its dense counterpart. We validated our approaches on 4 open-domain question answering (OpenQA) tasks and 11 retrieval question answering (ReQA) tasks. SPARTA achieves new state-of-the-art results across a variety of open-domain question answering tasks in both English and Chinese datasets, including open SQuAD, Natuarl Question, CMRC and etc. Analysis also confirms that the proposed method creates human interpretable representation and allows flexible control over the trade-off between performance and efficiency.

研究の動機と目的

• デュアルエンコーダー・モデルのオープンドメインQAにおける限界、特に近似最近傍探索に依存することと、弱いクエリ-回答相互作用の問題を解決すること。
• 高価なベクトル検索やGPU依存を回避し、高速でスケーラブルかつ解釈可能なランク付けを可能にするニューラルリtrieval手法の開発。
• スパarsityを活用して、効率性と精度の間の柔軟なトレードオフを実現し、リソースが限られたドメインでのパフォーマンス向上。
• トークンレベルの相互作用が、オープンドメインQAにおいてシーケンスレベルのマッチングを上回る可能性があるかの検証。
• スパースで意味のある表現を通じて、人間が解釈可能な高精度なリtrieバルシステムの構築。

提案手法

• SPARTAは、クエリトークンと回答トークンの間のすべてのトークンレベルのアテンションを計算するトランスフォーマーに基づくモデルを用いて、回答パassageのスパース表現を学習する。
• 各回答トークン $ t $ に対して、クエリとのマッチングに寄与する寄与度を表す関連スコア $ f(t, (a,c)) $ を計算する。
• 得られたスパースベクトルは、インバーテッドインデックス（例：Lucene）に格納され、近似最近傍探索を用いずにCPUベースの高速リtrievalが可能になる。
• 事前学習された言語モデルを用いて世界知識を組み込み、回答に存在しない語の同義語や関連語を予測できる。
• スパarsityは、$ f(t, (a,c)) $ スコアが最も高い上位-K語のみを保持することで制御され、メモリ効率の高いデプロイメントが可能になる。
• フレームワークは、フレーズレベル（OpenQA）および文レベル（ReQA）の両方の回答リtrieバルをサポートし、リtrieバル目的に基づくエンドツーエンド学習が可能。

実験結果

リサーチクエスチョン

• RQ1 オープンドメインQAにおいて、トークンレベルのクエリ-対応回答相互作用は、シーケンスレベルのマッチングを上回ることができるか？
• RQ2 スパースニューラル表現は、近似最近傍探索を用いずに、高パフォーマンスかつCPUベースの効率的リtrievalを可能にするか？
• RQ3 提案手法は、リソースが限られたドメインで、密度ベースラインよりも一般化性能が優れているか？
• RQ4 スパarsityは、パフォーマンスとメモリ効率のバランスをどの程度活用できるか？
• RQ5 人間の検査によって、スパース表現が解釈可能で意味的に意味のあるものにできるか？

主な発見

• SPARTAはSQuADで79.0 MRR、NQで75.8 MRRという、新たな最先端のMRRを達成し、これらのリtrieバルQAタスクですべての先行手法を上回る。
• わずか50個の上位語を用いても、SPARTAはSQuADで69.5 MRRを達成し、Poly-Encodersのメモリ使用量のたった1.6%で、すべてのベースラインを上回る。
• より挑戦的なNQデータセットでは、上位1000語を用いてSPARTAは75.5 MRRに達し、最良のパフォーマンスを示すモデルと密接に一致する。
• 人間評価により、SPARTAの上位語が意味的に意味のあるものであることが確認され、キーワード、同義語、および回答に存在しないが関連する概念（例：ヨセミテ国立公園の「ユタ」）を含む。
• リソースが限られたドメインにおいても、SPARTAはクラシカルなIRおよびニューラルベースラインを凌駕する一般化性能を示す。
• スパース表現により、パフォーマンスと効率性の間の柔軟なトレードオフが可能であり、極めてスパースな状態（例：上位50語）でも精度の低下が最小限に抑えられる。