[論文レビュー] Efficient end-to-end learning for quantizable representations

Yeonwoo Jeong, Hyun Oh Song|arXiv (Cornell University)|May 15, 2018

Advanced Image and Video Retrieval Techniques参考文献 29被引用数 5

ひとこと要約

この論文では、量子化可能な埋め込み表現とスパースなバイナリーハッシュコードを同時に最適化するエンドツーエンドのディープラーニングフレームワークを提案している。ハッシュコードの離散最適化を最小費用フロー問題に定式化することで、Cifar-100およびImageNetにおいて最先端の検索精度を達成するとともに、全探索線形探索に比べ最大478倍の高速化を実現した。

ABSTRACT

Embedding representation learning via neural networks is at the core foundation of modern similarity based search. While much effort has been put in developing algorithms for learning binary hamming code representations for search efficiency, this still requires a linear scan of the entire dataset per each query and trades off the search accuracy through binarization. To this end, we consider the problem of directly learning a quantizable embedding representation and the sparse binary hash code end-to-end which can be used to construct an efficient hash table not only providing significant search reduction in the number of data but also achieving the state of the art search accuracy outperforming previous state of the art deep metric learning methods. We also show that finding the optimal sparse binary hash code in a mini-batch can be computed exactly in polynomial time by solving a minimum cost flow problem. Our results on Cifar-100 and on ImageNet datasets show the state of the art search accuracy in precision@k and NMI metrics while providing up to 98X and 478X search speedup respectively over exhaustive linear search. The source code is available at https://github.com/maestrojeong/Deep-Hash-Table-ICML18

研究の動機と目的

• 大規模類似性検索における全探索線形探索の非効率性を解消するため、直接的に量子化可能な表現を学習すること。
• エンドツーエンドの方法で深層埋め込み表現とバイナリーハッシュコードを同時に最適化し、後処理としてのクラスタリング手順を回避すること。
• 精度を損なわずにスパースバイナリーハッシュテーブルを用いた効率的な推論を可能にすること。
• 最適なスパースバイナリーハッシュコードを最小費用フロー定式化を用いて正確かつ効率的に計算できることを示すこと。

提案手法

• ミニバッチ単位で、確率的勾配降下法による埋め込みネットワークの最適化と、最適なスパースバイナリーハッシュコードの計算を交互に繰り返す。
• 離散最適化を最小費用フロー問題に変換することで、多項式時間で最適なハッシュコード割り当てを正確に計算可能である。
• 従来の深層メトリクス学習手法（例：シameseネットワークやトリプルット損失）と互換性があり、モジュラーなフレームワークを実現している。
• 効率的な最小費用フロー計算のためのOR-Toolsを活用し、TensorFlowベースの深層メトリクス学習ライブラリと統合可能である。
• ハードネガティブマイニングと標準的なメトリクス学習目的関数の両方をサポートし、ミニバッチ確率的勾配設定で学習を実行する。
• 最終的なハッシュテーブルは、学習された埋め込みと最適なバイナリーハッシュコードから構築され、推論時に高速な照会を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの方法で、量子化可能な埋め込み表現と最適なスパースバイナリーハッシュコードを同時に学習できるか？
• RQ2 スパースバイナリーハッシュコードの離散最適化を多項式時間で正確かつ効率的に解けるか？
• RQ3 埋め込みとハッシュコードのエンドツーエンド学習が、最先端の深層メトリクス学習手法を上回る検索精度を達成できるか？
• RQ4 特に大規模データセットにおいて、線形スキャンに比べて検索コストをどの程度低減できるか？
• RQ5 ハッシュバケットを構築する際、クラスタ純度とNMI指標において、本手法はどの程度の性能を示すか？

主な発見

• 提案手法は、Cifar-100およびImageNetの両データセットで最先端のprecision@kおよびNMIスコアを達成し、先行する深層メトリクス学習手法を上回った。
• Cifar-100では、全探索線形探索に比べ最大98倍の高速化を達成しながらも、優れた検索精度を維持した。
• ImageNetでは、線形探索に比べ最大478倍の高速化を達成し、precision@kおよびNMI指標で顕著な向上を示した。
• 本手法を用いて構築されたハッシュテーブルは、ベースライン手法と比較して顕著に高いクラス純度（NMIで測定）を示した。
• 最小費用フロー定式化により、最適なスパースバイナリーハッシュコードを多項式時間で正確かつ効率的に計算可能であることが実証された。
• 大規模なデータセット全体に対して繰り返しk-meansクラスタリングを実行する必要がなくなるため、大規模応用にスケーラブルである。