[論文レビュー] New Loss Functions for Fast Maximum Inner Product Search

Ruiqi Guo, Quan Geng+4 more|arXiv (Cornell University)|Aug 27, 2019

Advanced Image and Video Retrieval Techniques参考文献 22被引用数 4

ひとこと要約

本論文では、内積の近似誤差を直接最小化する新しい種類の量子化損失関数を提案する。この損失関数は、内積の大きさに応じて誤差に重みを付けることで、高値のペアに高い重要度を与える。この手法は、バイナリ量子化やプロダクト量子化を含むさまざまな量子化技術において、検索精度を向上させ、標準ベンチマークにおいて最先端の手法を上回る。

ABSTRACT

Quantization based methods are popular for solving large scale maximum inner product search problems. However, in most traditional quantization works, the objective is to minimize the reconstruction error for datapoints to be searched. In this work, we focus directly on minimizing error in inner product approximation and derive a new class of quantization loss functions. One key aspect of the new loss functions is that we weight the error term based on the value of the inner product, giving more importance to pairs of queries and datapoints whose inner products are high. We provide theoretical grounding to the new quantization loss function, which is simple, intuitive and able to work with a variety of quantization techniques, including binary quantization and product quantization. We conduct experiments on standard benchmarking datasets to demonstrate that our method using the new objective outperforms other state-of-the-art methods.

研究の動機と目的

• 従来の量子化手法が再構築誤差を最小化するのに対し、内積近似誤差を最小化しないという限界に対処すること。
• 内積精度を直接最適化することで、最大内積検索（MIPS）のパフォーマンスを向上させること。
• 内積の大きさに応じて誤差に重みを付ける損失関数を開発し、高値のペアに重点を置くこと。
• 多様な量子化技術と互換性がある、シンプルで直感的かつ一般化可能な損失関数を構築すること。

提案手法

• 提案された損失関数は、クエリとデータポイント間の内積の大きさに基づいて再構築誤差に重みを付ける。
• 最適化の目的関数を再定義し、MIPSにとって最も関連性のある高内積領域での誤差を最小化することを優先する。
• バイナリ量子化やプロダクト量子化を含むさまざまな量子化方式と互換性がある。
• 理論的根拠に基づいて損失関数が導出されており、最適化における安定性と収束性を保証する。
• アーキテクチャの変更を要せず、既存の量子化パイプラインにスムーズに統合できる。
• 学習目的はエンドツーエンド微分可能であり、勾配ベースの最適化が可能である。

実験結果

リサーチクエスチョン

• RQ1 内積の大きさに応じて誤差に重みを付ける損失関数は、最大内積検索のパフォーマンスを向上させることができるか？
• RQ2 標準の再構築ベースの目的関数と比較して、提案された損失関数は内積近似精度において優れているか？
• RQ3 新しい損失関数は、バイナリ量子化やプロダクト量子化などの異なる量子化技術に一般化可能か？
• RQ4 トレーニング時に高内積ペアに注目することで、下流の検索精度にどのような影響を与えるか？
• RQ5 提案された手法は、標準のMIPSベンチマークデータセットで最先端のパフォーマンスを達成できるか？

主な発見

• 提案された損失関数は、高値のペアに重点を置くことで、内積近似精度を顕著に向上させる。
• 標準ベンチマークデータセットにおいて、既存の最先端の量子化ベースMIPS手法を上回る。
• バイナリ量子化およびプロダクト量子化の両方において、一貫した改善が得られる。
• 損失関数の理論的基盤により、安定的かつ効果的な最適化が保証される。
• 既存の量子化パイプラインへの最小限の変更で、より良い検索パフォーマンスが達成される。
• 結果から、再構築誤差の最小化ではなく、内積誤差の直接最適化が、再構築誤差最小化よりも優れたリtrieval品質をもたらすことが示された。