[論文レビュー] MIHash: Online Hashing with Mutual Information

Fatih Çakir, Kun He+2 more|arXiv (Cornell University)|Mar 27, 2017

Advanced Image and Video Retrieval Techniques参考文献 29被引用数 7

ひとこと要約

この論文では、相互情報量を品質指標として用いることで、不要なハッシュテーブル更新を削減しながらも高い検索精度を維持する、新しいオンラインハッシング手法MIHashを提案する。確率的勾配降下を用いて相互情報量を最適化することで、オンラインおよびバッチ設定の両方で最先端の性能を達成し、大規模なベンチマーク（例：Places205）においてハッシュテーブル再計算回数を10倍以上削減した。

ABSTRACT

Learning-based hashing methods are widely used for nearest neighbor retrieval, and recently, online hashing methods have demonstrated good performance-complexity trade-offs by learning hash functions from streaming data. In this paper, we first address a key challenge for online hashing: the binary codes for indexed data must be recomputed to keep pace with updates to the hash functions. We propose an efficient quality measure for hash functions, based on an information-theoretic quantity, mutual information, and use it successfully as a criterion to eliminate unnecessary hash table updates. Next, we also show how to optimize the mutual information objective using stochastic gradient descent. We thus develop a novel hashing method, MIHash, that can be used in both online and batch settings. Experiments on image retrieval benchmarks (including a 2.5M image dataset) confirm the effectiveness of our formulation, both in reducing hash table recomputations and in learning high-quality hash functions.

研究の動機と目的

• ハッシュ関数の更新後に頻繁にハッシュテーブルの再計算が要求されるオンラインハッシングシステムにおける非効率性を解消すること。
• 検索性能と相関する一般化可能でパラメータフリーのハッシュ関数の品質指標を構築すること。
• 相互情報量が品質向上を示す場合にのみハッシュテーブルを更新することで、効率的なオンライン学習を可能にすること。
• 相互情報量を直接学習目的関数として最適化し、エンドツーエンドのハッシュ関数学習を可能にすること。
• ハイパーパramータのチューニングを必要とせずに、オンラインおよびバッチ設定の両方で最先端の検索精度を達成すること。

提案手法

• 近傍と非近傍のハミング距離分布間の相互情報量に基づく品質指標を提案し、ハッシュ関数の品質を評価する。
• オンライン設定においてハッシュテーブルの更新タイミングを指導致すために、ストリーミング計算可能な相互情報量推定器を導入する。
• 相互情報量を最適化するための確率的勾配降下ルールを導出し、オンラインおよびディープラーニングを可能にする。
• 既存のオンラインハッシング手法に統合可能なプラグインモジュールを設計し、更新頻度を低下させながら精度を損なわないようにする。
• 線形およびディープニューラルネットワークアーキテクチャの両方に対応させ、エンドツーエンド学習を可能にする。
• 相互情報量推定のための、近傍および非近傍のハミング距離分布を保持するデュアルストリームデータ構造を設計する。

実験結果

リサーチクエスチョン

• RQ1 オンラインハッシングにおいて、計算コストと検索品質のバランスを考慮して、ハッシュテーブルはいつ更新すべきか？
• RQ2 相互情報量は、近似最近傍検索におけるハッシュ関数の有効で、パラメータフリーの品質指標として機能することができるか？
• RQ3 確率的勾配降下を用いて相互情報量を効果的に最適化し、高品質なハッシュ関数を学習できるか？
• RQ4 ハッシュテーブルの更新に相互情報量を基準として用いることで、性能劣化を伴わずに顕著な計算コストの削減が達成できるか？
• RQ5 相互情報量に基づく最適化は、オンラインおよびバッチハッシングの両設定で最先端の性能を達成できるか？

主な発見

• MIHashは、250万枚の画像を含むPlaces205データセットにおいて、ベースラインのオンラインハッシング手法と比較して、ハッシュテーブルの再計算回数を10倍以上削減した。
• バッチ設定では、48ビットコードを用いてCIFAR-10でmAP 0.942の最先端性能を達成し、DTSH（0.934）およびDPSH（0.932）を上回った。
• 1回のエポックでの学習でも、CIFAR-10（48ビット）でmAP 0.746を達成し、FastHash（0.738）およびDTSH（0.702）を上回った。
• 相互情報量の品質指標は、mAPなどの標準的な検索指標と強く相関しており、その有効性が裏付けられた。
• 本手法は汎用的であり、再トレーニングを伴わずに、既存のオンラインハッシングフレームワークにプラグインとして適用可能である。
• 他の手法とは異なり、マージン、しきい値、その他のハイパーパramータのチューニングを必要とせず、優れた性能を達成した。