[論文レビュー] Learning Discrete Representations via Constrained Clustering for Effective and Efficient Dense Retrieval

Jingtao Zhan, Jiaxin Mao+4 more|arXiv (Cornell University)|Oct 12, 2021

Advanced Image and Video Retrieval Techniques被引用数 10

ひとこと要約

RepCONC は、制約付きクラスタリングを介して離散表現を学習する、密度検索のための新規手法を提案する。双方向エンコーダーと Product Quantization (PQ) を同時に最適化することで、効率的でエンドツーエンドの学習が可能になる。量子化を均一クラスタリング制約を伴う制約付きクラスタリング問題としてモデル化することにより、優れた検索効果、記憶効率（インデックスサイズ <0.5GB）、CPU互換性の高速性を達成し、アドホック検索ベンチマークにおいて、精度と効率の両面で最先端のベースラインを上回る性能を発揮する。

ABSTRACT

Dense Retrieval (DR) has achieved state-of-the-art first-stage ranking effectiveness. However, the efficiency of most existing DR models is limited by the large memory cost of storing dense vectors and the time-consuming nearest neighbor search (NNS) in vector space. Therefore, we present RepCONC, a novel retrieval model that learns discrete Representations via CONstrained Clustering. RepCONC jointly trains dual-encoders and the Product Quantization (PQ) method to learn discrete document representations and enables fast approximate NNS with compact indexes. It models quantization as a constrained clustering process, which requires the document embeddings to be uniformly clustered around the quantization centroids and supports end-to-end optimization of the quantization method and dual-encoders. We theoretically demonstrate the importance of the uniform clustering constraint in RepCONC and derive an efficient approximate solution for constrained clustering by reducing it to an instance of the optimal transport problem. Besides constrained clustering, RepCONC further adopts a vector-based inverted file system (IVF) to support highly efficient vector search on CPUs. Extensive experiments on two popular ad-hoc retrieval benchmarks show that RepCONC achieves better ranking effectiveness than competitive vector quantization baselines under different compression ratio settings. It also substantially outperforms a wide range of existing retrieval models in terms of retrieval effectiveness, memory efficiency, and time efficiency.

研究の動機と目的

• 密度検索モデルの高いメモリおよび計算コストを軽減すること。これは、大規模な密度ベクトルインデックスと全探索型最近傍検索に依存するためである。
• 非微分可能な量子化操作を制約付きクラスタリングにより微分可能にすることで、双方向エンコーダーと量子化手法のエンドツーエンドの学習を可能にすること。
• 均一クラスタリング制約を通じて、バランスの取れた、区別可能な離散表現を保証することで、検索効果と効率を向上させること。
• コンactなインデックスを用いたベクトルベースのインverted file system (IVF) を用いて、CPU上で高速な近似最近傍検索を可能にすること。
• 同時に、検索効果、記憶効率、時間効率の面で最先端の性能を達成すること。

提案手法

• RepCONC は、文書埋め込みを PQ の重心の周囲にクラスタリングする制約付きクラスタリングプロセスとして量子化をモデル化し、クラスタリング損失を導入する。
• ベクトルが少数のクラスタに集中するのを防ぐために、均一クラスタリング制約を導入し、量子化されたベクトルが区別可能であることを保証する。
• 最適輸送問題に緩和することで、エンドツーエンドの学習中に効率的な近似最適化を可能にする。
• バックプロパゲーションを用いて、双方向エンコーダーと PQ の重心を同時に学習し、両成分の完全なエンドツーエンド最適化を可能にする。
• CPU上で高速で非全探索型のベクトル検索を実現するため、ベクトルベースのインバーテッドファイルシステム (IVF) を採用し、遅延を低減する。
• 推論時には均一制約を除外することで効率性を維持するが、学習済みの重心と割り当てにより、高速な近似最近傍検索が可能になる。

実験結果

リサーチクエスチョン

• RQ1 均一性制約を伴う制約付きクラスタリングは、密度検索における離散表現の効果を向上させることができるか？
• RQ2 量子化の非微分性を考慮しても、双方向エンコーダーと PQ のエンドツーエンドの共同最適化が達成可能か？
• RQ3 RepCONC は、最先端のベクトル量子化ベースラインと比較して、より優れた検索効果、記憶効率、時間効率を達成するか？
• RQ4 RepCONC は、GPUアクセラレーションを必要とせずに、効率的な CPU 基盤の検索を可能にするか？
• RQ5 均一クラスタリング制約は、クラスタ分布と表現品質にどのように影響を与えるか？

主な発見

• RepCONC は、48 バイト/パassage (BPP) の圧縮比で MRR@10 が 0.340 を達成し、同じ圧縮比下で JPQ (0.332) や DPQ (0.305) を上回る。
• インデックスサイズを 0.5GB 未満にまで削減し、COIL (60GB)、ColBERT (162GB)、uniCOIL (1.3GB)、DeepImpact (1.5GB) よりも顕著に小さい。
• RepCONC は、IVF を用いた効率的な CPU 基盤の検索を実現し、高精度な性能を発揮しながら、高価な GPU 加速を必要としない。
• アブレーションスタディにより、均一クラスタリング制約が極めて重要であることが確認された。これを除去すると、クラスタ分布が不均衡になり、性能が低下する。
• 動的ハードネガティブ例を用いることで、RepCONC は 48 BPP で MRR@10 を 0.340 まで向上させ、共同最適化の有効性を示した。
• 制約付きクラスタリングアプローチは、非制約付き学習と比較してよりバランスの取れたクラスタ割り当てを生み出し、OPQ に近い分布を実現しながらも、エンドツーエンドの微分可能性を維持している。