[論文レビュー] Spreading vectors for similarity search

Alexandre Sablayrolles, Matthijs Douze+2 more|arXiv (Cornell University)|Jun 8, 2018

Domain Adaptation and Few-Shot Learning被引用数 26

ひとこと要約

本論文は、入力ベクトルをユニット超球上の一様分布にマップする学習可能なニューラルネットワーク（『カタリゼーター』）を用いて、固定で剛性のある量子化器（格子符号やバイナリ符号など）と組み合わせることで、優れた性能を達成するエンドツーエンド学習フレームワークを提案する。Kozachenko–Leonenkoに基づく微分エントロピー正則化項とトライオット損失を組み合わせることで、量子化器の最適化を伴わずに類似度検索の正確性を向上させ、最先端の学習可能量子化手法を上回り、既存の量子化技術と即座に統合可能なプラグアンドプレイな性能を実現する。

ABSTRACT

Discretizing multi-dimensional data distributions is a fundamental step of modern indexing methods. State-of-the-art techniques learn parameters of quantizers on training data for optimal performance, thus adapting quantizers to the data. In this work, we propose to reverse this paradigm and adapt the data to the quantizer: we train a neural net which last layer forms a fixed parameter-free quantizer, such as pre-defined points of a hyper-sphere. As a proxy objective, we design and train a neural network that favors uniformity in the spherical latent space, while preserving the neighborhood structure after the mapping. We propose a new regularizer derived from the Kozachenko--Leonenko differential entropy estimator to enforce uniformity and combine it with a locality-aware triplet loss. Experiments show that our end-to-end approach outperforms most learned quantization methods, and is competitive with the state of the art on widely adopted benchmarks. Furthermore, we show that training without the quantization step results in almost no difference in accuracy, but yields a generic catalyzer that can be applied with any subsequent quantizer.

研究の動機と目的

• 類似度検索におけるニューラルネットワークと離散的量子化の共同最適化の課題に取り組むこと。これは、非微分可能な量子化操作のため、最適化が困難である。
• 格子符号やバイナリ符号などの固定で剛性のある量子化器の性能を、データ分布をこれらの量子化器に適合させる形で向上させることにより、量子化器をデータに合わせて変更するのではなく、データを量子化器に適合させる。
• Kozachenko–Leonenko推定器に基づく微分エントロピー正則化項を設計し、球面的潜在空間における一様性を強制することで、出力空間の均等なカバーを促進する。
• 学習されたネットワーク（カタリゼーター）が量子化層を最適化せずに訓練可能であり、複数の下流量子化手法に普遍的な特徴変換として機能できることを示すこと。

提案手法

• 本手法は、入力ベクトルをユニット超球にマップするニューラルネットワークを訓練する。最終層の出力を、固定でパラメータフリーの量子化器（例：符号関数や格子量子化器）として扱う。
• Kozachenko–Leonenko微分エントロピー推定器に基づく新しい正則化項を用い、球面出力空間における一様性を強制することで、符号化されたベクトルの均等な分布を促進する。
• 訓練目的関数は、この正則化項と局所性に配慮したトライオット損失を組み合わせ、入力空間における近傍構造がマッピング中に保持されるようにする。
• ネットワークはエンドツーエンドで訓練されるが、離散化ステップは固定されているため、微分可能量子化に伴う最適化の問題を回避できる。
• 得られた『カタリゼーター』ネットワークは、OPQやバイナリハッシングなどの標準的な量子化手法に適用する前に特徴量を事前処理する目的で独立して利用可能である。
• 本手法はDeep1BおよびBigAnn1Mで評価され、64ビット符号で優れた性能を示し、速度と精度のトレードオフも競争力がある。

実験結果

リサーチクエスチョン

• RQ1 固定で非学習可能な量子化器（例：格子符号やバイナリ符号）の性能を、データ分布をこれらの量子化器に適合させる学習可能なデータ変換によって向上させることは可能か？
• RQ2 微分エントロピー正則化項によって潜在空間における一様性を強制することで、量子化器をエンドツーエンドで学習するのと比較して、より優れた量子化性能が得られるか？
• RQ3 量子化層を含めずに訓練されたニューラルネットワークが、複数の量子化手法に普遍的な特徴変換として機能できるか？
• RQ4 本手法は、特に大規模スケールにおいて、最先端の学習可能量子化技術と比較して、精度と速度の両面で優れているか？

主な発見

• OPQと組み合わせた場合、64ビット符号を用いてDeep1Mデータセットで再現率@10が71.1%に達し、ベースラインのOPQ（63.6%）を上回り、LSQなどの最先端手法と同等またはそれを上回る。
• 大規模なDeep1Bデータセット（10億ベクトル）では、64ビット符号を用いた格子量子化において、OPQに比べ10%の精度優位性を示し、再現率@10が37.8%に達した。
• LSQ（最先端の加法的量子化手法）に比べ14倍高速でありながら、競争力のあるもしくはそれ以上の精度を達成しており、大規模応用に実用的である。
• バイナリハッシング性能は、全ビット長（16〜128ビット）において2〜9ポイント向上し、Deep1MおよびBigAnn1Mの両データセットでLSHやITQを上回った。
• 量子化層を含めずに訓練することで、OPQやバイナリハッシングを含む複数の量子化手法で性能を向上させる普遍的なカタリゼーターが得られ、わずかな精度低下と顕著な高速化が実現した。