[論文レビュー] Densifying Sparse Representations for Passage Retrieval by Representational Slicing

Sheng-Chieh Lin, Jimmy Lin|arXiv (Cornell University)|Dec 9, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、表現スライシングを用いてスパース表現を密度化するトレーニング不要な手法を提案する。これにより、解釈可能で効率的かつ効果的な密度表現との統合が可能になる。本手法はゲート付き内積（GIP）を用いて関連度スコアを計算し、COILなどの強力な密度モデルと同等の性能を達成すると同時に、インデックスサイズを削減し、高速なリtrieve-then-rerank推論を可能にする。

ABSTRACT

Learned sparse and dense representations capture different successful approaches to text retrieval and the fusion of their results has proven to be more effective and robust. Prior work combines dense and sparse retrievers by fusing their model scores. As an alternative, this paper presents a simple approach to densifying sparse representations for text retrieval that does not involve any training. Our densified sparse representations (DSRs) are interpretable and can be easily combined with dense representations for end-to-end retrieval. We demonstrate that our approach can jointly learn sparse and dense representations within a single model and then combine them for dense retrieval. Experimental results suggest that combining our DSRs and dense representations yields a balanced tradeoff between effectiveness and efficiency.

研究の動機と目的

• トレーニングを追加で必要とせずにスパース表現を密度化する手法を開発すること。
• 統一されたリtrievalフレームワーク内で、密度化されたスパース表現と密度表現を直接統合できること。
• スパース表現と密度表現からの補完的信号を組み合わせることで、リtrievalの効果性と効率性を向上させること。
• モデルの透明性が重要な状況において、密度表現の解釈可能な代替手段を提供すること。
• 高いリtrieval性能を維持しながら、インデックスサイズとクエリレイテンシを削減すること。

提案手法

• 本手法は、高次元のスパース表現をM個の重複のないN次元のスライスに分割する。
• 各スライスに対して、最大活性化値とその位置（インデックス）が抽出され、コン actな表現が形成される。
• クエリとパassage間の関連度は、ゲート付き内積（GIP）を用いて計算され、スライス間でインデックスが一致する次元のみを考慮する。
• リtrieve-then-rerank戦略が採用される：まず、Dense Sparse Representations（DSRs）のみを用いて上位10,000件の候補を取得し、その後、融合されたDSRと密度スコアを用いて再順序付けを行う。
• 本手法は、スパース表現と密度表現を同時に学習する統合バイエンコーダーモデルにおいてエンドツーエンドで適用される。
• スライシング戦略にはストライド、連続、ランダム分割が含まれるが、ストライドとランダムが最良の性能を示す。

実験結果

リサーチクエスチョン

• RQ1 トレーニングを伴わず、解釈可能性と効果性を保持したままスパース表現を密度化できるか？
• RQ2 ゲート付き内積（GIP）は、標準的な内積と比較して、効率性と効果性の面でどのように異なるか？
• RQ3 密度化されたスパース表現（DSRs）は、単一のリtrievalフレームワーク内で密度表現と効果的に統合できるか？
• RQ4 ストライド、連続、ランダムなどの異なるスライシング戦略がリtrieval性能に与える影響は何か？
• RQ5 リtrieve-then-rerankパイプラインは、DSRsの推論速度を著しく向上させつつも、効果性を維持できるか？

主な発見

• 768次元のDSRモデルは、MS MARCO開発セットでMRR@10が0.343、R@1Kが0.957を達成し、強力な密度モデルと同等の性能を示す。
• θ = 0.1のリtrieve-then-rerankパイプラインを用いることで、追加レイテンシがたった10msにとどまるが、リtrieve速度が10倍に向上する。
• 128次元のDSRsと密度[CLS]表現の統合は、純粋な密度モデルやDSR単体のモデルよりも、効率性と効果性の両面で優れている。
• ストライドスライシングを用いたDSR-SPLADEモデル（768次元）は、MRR@10が0.343、R@1Kが0.957を達成し、ランダムスライシングと同等の性能を示すが、連続スライシング（MRR@10: 0.332）を上回る。
• DSR-{SPLADE} + Dense-[CLS]の統合モデルは、最も効果的な密度モデルであるCOILに匹敵するリtrieval効果性を達成するが、インデックスサイズは著しく小さい。
• ゲート付き内積（GIP）は、DSRsと密度表現の効果的な統合を可能にし、高い時間計算量であっても、効率的なリtrieveパイプラインと組み合わせることで実用的性能を損なわないことを示している。