[論文レビュー] Efficient Passage Retrieval with Hashing for Open-domain Question Answering

Ikuya Yamada, Akari Asai+1 more|arXiv (Cornell University)|Jun 2, 2021

Topic Modeling参考文献 12被引用数 9

ひとこと要約

本稿では、Dense Passage Retriever (DPR) における密ベクトルインデキシングを、エンド・トゥ・エンドの学習ハッシングによりコンパクトなバイナリコードに置き換えるメモリ効率の良いニューラルリtrievalモデル、Binary Passage Retriever (BPR) を提案する。BPR は、65GB から 2GB にまでインデックスサイズを 97% 減少させ、より高速なクエリ推論を実現しながらも、SOTA に近いオープンドメインQAの精度を達成しており、ハミング距離に基づく候補生成と内積ベースの再ランク付けの両方を目的としたマルチタスク目的関数を用いている。

ABSTRACT

Most state-of-the-art open-domain question answering systems use a neural retrieval model to encode passages into continuous vectors and extract them from a knowledge source. However, such retrieval models often require large memory to run because of the massive size of their passage index. In this paper, we introduce Binary Passage Retriever (BPR), a memory-efficient neural retrieval model that integrates a learning-to-hash technique into the state-of-the-art Dense Passage Retriever (DPR) to represent the passage index using compact binary codes rather than continuous vectors. BPR is trained with a multi-task objective over two tasks: efficient candidate generation based on binary codes and accurate reranking based on continuous vectors. Compared with DPR, BPR substantially reduces the memory cost from 65GB to 2GB without a loss of accuracy on two standard open-domain question answering benchmarks: Natural Questions and TriviaQA. Our code and trained models are available at https://github.com/studio-ousia/bpr.

研究の動機と目的

• 2100万件のWikipediaのパassageをインデキシングするために65GBを必要とするDPRのような高メモリコストな密パassageリtrieバルモデルの低減を図ること。
• PubMed や Common Crawl のような大規模な知識源において、効率的でスケーラブルなオープンドメイン質問応答を可能にすること。
• バイナリコードを用いてパassageインデックスを大幅に圧縮しながらも、高いリtrieバルおよびQA精度を維持すること。
• 高速なハミング距離ベースの候補生成と正確な連続ベクトルによる再ランク付けを組み合わせた二段階のリtrieバルパイプラインを開発すること。
• エンド・トゥ・エンドの学習ハッシングが、後処理の量子化手法とは異なり、精度の劣化を伴わずにリtrieバルインデックスを圧縮できることを実証すること。

提案手法

• BPR は、DPR を拡張し、バックプロパゲーション中にスケーリングされたtanhを用いた符号関数の近似により、連続的なパassage埋め込みをコンパクトなバイナリコードにハッシュ化する学習を実施する。
• モデルは、二つの目的を組み合わせたマルチタスク損失関数を用いる：(1) バイナリコードを用いたハミング距離ベースの候補生成、(2) 連続埋め込みを用いた内積ベースの再ランク付け。
• バイナリコードは、連続埋め込みに符号関数を適用することで生成され、非微分可能な符号関数は学習中にスケーリングされたtanhで近似される。
• 候補生成は、効率的なハミング距離計算を用いた線形スキャン、または増加するハミング半径を伴うハッシュテーブルの照会により実行される。
• リtrieバルパイプラインは二段階で動作する：(1) バイナリコードを用いた高速な候補検索、(2) 連続ベクトルを用いた正確な再ランク付け。
• モデルは、DPR と同じデータ、同じ最適化設定でエンド・トゥ・エンドに訓練され、評価には同じリーダー構造が用いられる。

実験結果

リサーチクエスチョン

• RQ1 学習ハッシングを密パassageリtrieバルに効果的に統合することで、リtrieバル精度を損なわずインデックスサイズを削減できるか？
• RQ2 バイナリコードを用いた高速な候補生成と連続ベクトルを用いた正確な再ランク付けを組み合わせた二段階のリtrieバルパイプラインは、完全な密リtrieバルと比較して性能を維持または向上できるか？
• RQ3 エンド・トゥ・エンドでハッシュ関数とエンコーダーを同時に学習する手法は、LSH や製品量子化といった後処理の量子化手法と比較して、精度と効率の点で優れているか？
• RQ4 65GB のメモリコストを 5GB 未満にまで削減しながらも、SOTA のオープンドメインQAパフォーマンスを維持できるか？
• RQ5 バイナリコードと連続ベクトルを用いたパassageリtrieバルにおいて、リtrieバル速度と精度のトレードオフはどのように変化するか？

主な発見

• BPR は、パassageインデックスサイズをDPRの65GBから2GBにまで削減し、メモリ使用量を97%削減した。
• Natural Questions および TriviaQA ベンチマークにおいて、BPR はDPRのトップ20リtrieバル再現率および正確一致（EM）QA精度と同等か、わずかに上回った。
• BPR はDPRよりも高速なクエリ推論を達成しており、ハッシュテーブル照会は線形スキャンよりも効率的であり、HNSWベースのリtrieバルよりも顕著に高速であった。
• 後処理の量子化手法（LSH や製品量子化）は、BPR と比較して性能が劣ったが、BPR はエンド・トゥ・エンドの学習により精度を維持した。
• BPR における再ランク付けヘッドを無効化すると、性能が著しく低下したため、二段階設計の重要性が確認された。
• 改善されたELECTRA-largeリーダーを用いることで、BPR はすべてのモデルを上回り、パrameter数が2倍以上多いFiDモデルを除き、競争力のあるEM精度を達成した。