[論文レビュー] In Defense of Product Quantization

Benjamin Klein, Lior Wolf|arXiv (Cornell University)|Nov 23, 2017

Advanced Image and Video Retrieval Techniques参考文献 12被引用数 10

ひとこと要約

本稿では、検索および分類精度を、最先端のハッシング手法を上回りつつ、計算コストとメモリコストを低く保つエンド・ツー・エンドの学習済みプロダクト量子化手法であるDeep Product Quantization (DPQ)を提案する。ソフトおよびハードのコードブック表現に対してストレートスラッシュ推定器を活用し、表現の不一致を低減するための新しいJoint Central Lossを導入することで、DPQは特に正規化を用いたクロスドメインカテゴリ検索において優れた性能を発揮する。

ABSTRACT

Despite their widespread adoption, Product Quantization techniques were recently shown to be inferior to other hashing techniques. In this work, we present an improved Deep Product Quantization (DPQ) technique that leads to more accurate retrieval and classification than the latest state of the art methods, while having similar computational complexity and memory footprint as the Product Quantization method. To our knowledge, this is the first work to introduce a representation that is inspired by Product Quantization and which is learned end-to-end, and thus benefits from the supervised signal. DPQ explicitly learns soft and hard representations to enable an efficient and accurate asymmetric search, by using a straight-through estimator. A novel loss function, Joint Central Loss, is introduced, which both improves the retrieval performance, and decreases the discrepancy between the soft and the hard representations. Finally, by using a normalization technique, we improve the results for cross-domain category retrieval.

研究の動機と目的

• 従来のプロダクト量子化には、その効率性にもかかわらず、最新のハッシング手法に劣ることが示されているという限界を是正すること。
• 教師信号の恩恵を受けることができる、プロダクト量子化にインspiredされた深層的でエンド・ツー・エンドの学習済み表現を開発すること。
• クエリとデータベースのベクトルを異なるものとして扱う、効率的で正確な非対称検索を可能にする、ソフトおよびハードのコードブック表現の明示的学習を可能にすること。
• ソフト表現とハード表現の間の不一致を低減するための新しいJoint Central Loss関数を導入すること。
• 提案された正規化技術を用いて、クロスドメインカテゴリ検索のパフォーマンスを向上させること。

提案手法

• DPQは、ハードベクトル量子化を通過する勾配をバックプロパゲート可能にするためにストレートスラッシュ推定器を用いて、エンド・ツー・エンドで表現を学習する。
• 非対称検索を効率的に行うために、ソフトおよびハード表現の両方を明示的に学習し、クエリとデータベースのベクトルを別々に扱う。
• 検索パフォーマンスの最適化と、ソフト表現とハード表現の距離の最小化を同時に実現する、新しいJoint Central Lossが導入されている。
• 計算複雑度とメモリフットプリントは、標準的なプロダクト量子化と同一のままであり、スケーラビリティを保証している。
• クロスドメインカテゴリ検索タスクにおけるパフォーマンス向上のため、正規化技術が適用されている。
• 教師信号を用いてエンド・ツー・エンドでフレームワークを訓練することで、学習済み表現と下流タスクとの整合性が向上している。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドの学習済みプロダクト量子化手法は、検索および分類において、既存の最先端ハッシング手法を上回ることができるか？
• RQ2 ソフトおよびハード表現をどのように共同最適化することで、非対称検索の効率性と正確性を向上させることができるか？
• RQ3 新しい損失関数により、検索パフォーマンスを損なわずに、ソフト表現とハード表現の不一致を低減できるか？
• RQ4 正規化は、プロダクト量子化に基づく手法におけるクロスドメインカテゴリ検索のパフォーマンスを向上させるか？
• RQ5 エンド・ツー・エンド学習によって優れた精度を達成しつつ、プロダクト量子化の効率性を維持することは可能か？

主な発見

• DPQは、計算コストおよびメモリコストが類似しているにもかかわらず、最新の最先端ハッシング手法を上回る高い検索および分類精度を達成している。
• Joint Central Lossは、ソフト表現とハード表現の不一致を顕著に低減し、学習済みコードブックの整合性を向上させた。
• ストレートスラッシュ推定器の使用により、ハード量子化を通過する有効なバックプロパゲーションが可能となり、表現のエンド・ツー・エンド訓練が可能になった。
• 正規化は、クロスドメインカテゴリ検索におけるパフォーマンスを向上させ、ドメイン間での一般化の利点を示した。
• 本手法は、教師信号を用いてプロダクト量子化にインspiredされた表現をエンド・ツー・エンドで学習する最初のものであり、精度の新しいベンチマークを設定した。
• DPQは、標準的なプロダクト量子化の効率性を維持しながら、それ以上のパフォーマンスを達成しており、大規模応用に適している。