[論文レビュー] Injecting Domain Adaptation with Learning-to-hash for Effective and Efficient Zero-shot Dense Retrieval

Nandan Thakur, Nils Reimers+1 more|arXiv (Cornell University)|May 23, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本論文は、多様なドメインに跨るゼロショット密度検索の効果を向上させるために、教師あり学習-ハッシュ（LTH）手法（BPRおよびJPQ）にドメイン適応を統合することを提案する。GenQ や GPL といった自己教師型ドメイン適応技術を活用することで、BEIR ベンチマーク全体で平均して nDCG@10 を 11.5% および 8.2% 向上させるとともに、32倍のメモリ効率と CPU 検索遅延で 14倍／2倍の高速化を実現した。

ABSTRACT

Dense retrieval overcome the lexical gap and has shown great success in ad-hoc information retrieval (IR). Despite their success, dense retrievers are expensive to serve across practical use cases. For use cases requiring to search from millions of documents, the dense index becomes bulky and requires high memory usage for storing the index. More recently, learning-to-hash (LTH) techniques, for e.g., BPR and JPQ, produce binary document vectors, thereby reducing the memory requirement to efficiently store the dense index. LTH techniques are supervised and finetune the retriever using a ranking loss. They outperform their counterparts, i.e., traditional out-of-the-box vector compression techniques such as PCA or PQ. A missing piece from prior work is that existing techniques have been evaluated only in-domain, i.e., on a single dataset such as MS MARCO. In our work, we evaluate LTH and vector compression techniques for improving the downstream zero-shot retrieval accuracy of the TAS-B dense retriever while maintaining efficiency at inference. Our results demonstrate that, unlike prior work, LTH strategies when applied naively can underperform the zero-shot TAS-B dense retriever on average by up to 14% nDCG@10 on the BEIR benchmark. To solve this limitation, in our work, we propose an easy yet effective solution of injecting domain adaptation with existing supervised LTH techniques. We experiment with two well-known unsupervised domain adaptation techniques: GenQ and GPL. Our domain adaptation injection technique can improve the downstream zero-shot retrieval effectiveness for both BPR and JPQ variants of the TAS-B model by on average 11.5% and 8.2% nDCG@10 while both maintaining 32$ imes$ memory efficiency and 14$ imes$ and 2$ imes$ speedup respectively in CPU retrieval latency on BEIR. All our code, models, and data are publicly available at https://github.com/thakur-nandan/income.

研究の動機と目的

• 異なるドメインに跨る既存の学習-ハッシュ（LTH）手法のゼロショット一般化性能の低さを是正すること。
• メモリ使用量や推論効率を犠牲にせずに、圧縮された密度検索モデルの下流検索効果を向上させること。
• ドメイン適応が、ドメイン内 LTH とゼロショット密度検索の間の性能格差を埋めるかどうかを評価すること。
• BEIR の 18 種類の多様なデータセットに跨る一般化性能を向上させつつも、メモリ容量と検索遅延の両面で高い効率を維持すること。

提案手法

• 元のドメイン（MS MARCO）から生成された合成学習データ上で、BEIR のターゲットドメインに適応するように、事前学習済みの LTH モデル（BPR および JPQ）を微調整することで、ドメイン適応を統合する。
• 2 種類の自己教師型ドメイン適応技術（GenQ および GPL）を用い、モデルの一般化性能を向上させるために合成クエリ-ドキュメントペアを生成する。
• 合成データ上でランキング損失（例：BPR 損失）を用いて LTH モデルを訓練することで、モデルがクロスドメインの意味的整合性を学習できるようにする。
• TAS-B レトリーバーの元の 32 ビット密度埋め込みサイズを維持し、LTH を通じてバイナリコードに圧縮することで、検索効率を保つ。
• BEIR ベンチマーク上で nDCG@10 を主指標として、18 種類の多様なデータセットに跨り評価する。
• FAISS およびブルートフォース検索を用いてメモリ使用量と CPU 検索遅延を測定し、効率性が維持されているかを確認する。

実験結果

リサーチクエスチョン

• RQ1 BPR や JPQ といった教師あり LTH 手法が、BEIR ベンチマークのような多様なドメインに跨るゼロショット検索に効果的に一般化できるか。
• RQ2 単一ドメインでのナーブな LTH 微調整に比べ、LTH モデルにドメイン適応を統合することで、ゼロショット検索効果が向上するか。
• RQ3 ドメイン適応が、LTH のメモリ使用量と遅延効率をどれほど維持できるか。
• RQ4 異なるドメイン適応戦略（GenQ と GPL）は、未学習ドメインにおける LTH パフォーマンス向上にどの程度差を生じるか。

主な発見

• BPR や JPQ といった LTH 手法をゼロショット検索に直接適用した場合、BEIR データセット全体で平均して nDCG@10 がゼロショット TAS-B 密度レトリーバーに比べ最大 14% 劣る。
• GPL を用いたドメイン適応を統合することで、BPR と JPQ の nDCG@10 はそれぞれ平均で 11.5% および 8.2% 向上し、ゼロショット TAS-B ベースラインを上回った。
• 提案手法は、元の TAS-B 密度レトリーバーと比較して 32 倍のメモリ効率を維持しており、880 万件のパassage に対してインデックスサイズが 1 GB 未満に収まった。
• CPU 検索遅延は、BPR で 14 倍、JPQ で 2 倍高速化され、顕著な高速化が実現された。
• GPL を用いたドメイン適応は最も高いパフォーマンス向上をもたらしたが、クロスエンコーダーの教師推論と全コーパス埋め込み計算のため、計算コストが高かった。
• 本手法はモデルに依存せず、Contriever や RepCONC といったより強力なバックボーンモデルや、最新の LTH 手法へも拡張可能である。