[論文レビュー] A neural network catalyzer for multi-dimensional similarity search.

Alexandre Sablayrolles, Matthijs Douze+2 more|arXiv (Cornell University)|Jun 8, 2018

Advanced Image and Video Retrieval Techniques参考文献 24被引用数 2

ひとこと要約

本稿では、一様性と局所的近傍構造の保持を特徴とする球面埋め込み空間を学習することで、高次元類似度検索を向上させるニューラルネットワーク・カタリゼーターを提案する。Kozachenko-Leonenkoに基づく正則化項と局所構造に配慮したトリプレット損失を組み合わせることで、LSH や反復的量子化といった従来のインデクシング手法の再検索率を向上させるとともに、効率的な球面格子量子化を可能とし、最適化された製品量子化と同等の性能を達成する。

ABSTRACT

This paper aims at learning a function mapping input vectors to an output space in a way that improves high-dimensional similarity search. As a proxy objective, we design and train a neural network that favors uniformity in the spherical output space, while preserving the neighborhood structure after the mapping. For this purpose, we propose a new regularizer derived from the Kozachenko-Leonenko differential entropy estimator and combine it with a locality-aware triplet loss. Our method operates as a catalyzer for traditional indexing methods such as locality sensitive hashing or iterative quantization, boosting the overall recall. Additionally, the network output distribution makes it possible to leverage structured quantizers with efficient algebraic encoding, in particular spherical lattice quantizers such as the Gosset lattice E8. Our experiments show that this approach is competitive with state-of-the-art methods such as optimized product quantization.

研究の動機と目的

• 入力から出力空間へのマッピング中に局所的近傍構造を保持すること。
• 出力空間における一様性を促進することで、量子化効率を向上させること。
• LSH や反復的量子化といった従来のインデクシング手法に統合可能なプラグイン型カタリゼーターとして機能すること。
• Gosset E8 格子のような構造的量子化器を用いた効率的な代数的符号化を可能とすること。

提案手法

• 本手法は、類似度検索を向上させるために、入力ベクトルを球面出力空間にマップするニューラルネットワークを採用する。
• Kozachenko-Leonenko微分エントロピー推定器に基づく新規な正則化項が、出力分布の一様性を強制する。
• 局所構造に配慮したトリプレット損失が、類似および非類似ベクトル間の相対的な近傍構造を保持する。
• 組み合わせ損失関数が、トレーニング中に一様性と構造の保持のバランスをとる。
• 出力空間は、Gosset E8 などの球面格子量子化器を含む構造的量子化をサポートし、効率的な代数的符号化を可能にする。
• モデルはカタリゼーターとして機能し、LSH や反復的量子化といった従来のインデクシング手法と統合することで再検索率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 根本的なインデクシングインfra構造を変更せずに、学習された埋め込み空間が高次元類似度検索の再検索率を向上させ得るか？
• RQ2 エントロピー推定に基づく微分可能な正則化項を用いることで、出力空間における一様性をどの程度効果的に強制できるか？
• RQ3 高次元空間において、局所的近傍構造の保持がどの程度検索性能の向上に寄与するか？
• RQ4 学習された埋め込みが、E8 のような構造的格子を用いた効率的で代数的な量子化を可能にするか？
• RQ5 最適化された製品量子化といった最先端の量子化技術と比較して、本手法の性能はどの程度か？

主な発見

• 提案手法は、最適化された製品量子化という最先端のベースラインと同等の再検索率を達成する。
• 従来のインデクシング手法（LSH や反復的量子化など）と組み合わせた場合、ニューラルネットワーク・カタリゼーターの統合が再検索率を顕著に向上させる。
• Kozachenko-Leonenko推定器に基づく一様性正則化項は、より良い量子化効率を実現する出力分布の形状を効果的に制御する。
• 局所構造に配慮したトリプレット損失は、近傍構造の維持に成功し、検索精度の向上に寄与する。
• 球面出力空間は、Gosset E8 格子のような構造的量子化器を用いた効率的な符号化を可能とし、計算コストを低減する。
• 本手法は、既存の類似度検索パイプラインに統合可能な強力な汎用性を示す。