[論文レビュー] Simultaneous Feature Aggregating and Hashing for Large-scale Image Search

Thanh-Toan Do, Dang-Khoa Le Tan+2 more|arXiv (Cornell University)|Apr 4, 2017

Advanced Image and Video Retrieval Techniques参考文献 43被引用数 9

ひとこと要約

本稿では、大規模な画像検索のための特徴量集約とバイナリーハッシングを統合する、同時特徴集約およびハッシング（SAH）と呼ばれる共同最適化フレームワークを提案する。特徴量集約関数とハッシング関数を同時に学習させることで、バイナリコードによる集約特徴量の再構築性を向上させることで、SIFT、畳み込みニューラルネットワーク、全結合特徴量を用いた複数のベンチマークで最先端の検索精度を達成する。

ABSTRACT

In most state-of-the-art hashing-based visual search systems, local image descriptors of an image are first aggregated as a single feature vector. This feature vector is then subjected to a hashing function that produces a binary hash code. In previous work, the aggregating and the hashing processes are designed independently. In this paper, we propose a novel framework where feature aggregating and hashing are designed simultaneously and optimized jointly. Specifically, our joint optimization produces aggregated representations that can be better reconstructed by some binary codes. This leads to more discriminative binary hash codes and improved retrieval accuracy. In addition, we also propose a fast version of the recently-proposed Binary Autoencoder to be used in our proposed framework. We perform extensive retrieval experiments on several benchmark datasets with both SIFT and convolutional features. Our results suggest that the proposed framework achieves significant improvements over the state of the art.

研究の動機と目的

• 従来のハッシングシステムが特徴量集約とハッシングを別個で独立して処理するという制限を解決すること。
• 特徴量集約とバイナリーハッシングを共同で最適化することで、教師なしの大規模画像検索における検索精度を向上させること。
• ハードバイナリ制約を課さずにバイナリ量子量化損失を最小化する、より高速なリラックス版バイナリオートエナボーダー（RBA）を設計すること。
• 共同で学習された集約表現がバイナリコードによってより再構築可能であり、その結果、より優れた識別力が得られることを示すこと。

提案手法

• ハードバイナリ制約を課さずにバイナリ量子量化損失を最小化するリラックス版バイナリオートエナボーダー（RBA）を提案し、交互最適化により高速な学習を可能にする。
• 特徴量集約とハッシングを同時に最適化する共同最適化フレームワークを導入し、集約表現とハッシュ関数の両方を統合的に最適化する。
• 交互最適化を用いて、統合的な学習プロセスの中で集約特徴量とハッシュ関数を交互に更新する。
• RBAをSAHフレームワーク内のハッシングコンponentとして採用し、コンactなバイナリコードの効率的かつ効果的な学習を可能にする。
• 再構築損失を用い、バイナリコードが集約特徴量を正確に表現するよう促進することで、識別力の向上を図る。
• SIFT特徴量と深層畳み込み特徴量（例：事前学習済みVGGから得たもの）を入力とし、共同フレームワーク全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 特徴量集約とハッシングの共同最適化は、逐次処理よりも優れた検索性能をもたらすか？
• RQ2 リラックスされたオートエナボーダー設定でバイナリ量子量化損失を最小化することは、ハードバイナリ制約と比較して、学習速度と検索精度を向上させるか？
• RQ3 集約とハッシングの共同学習は、バイナリコードによる集約特徴量の再構築性にどのように影響を与えるか？
• RQ4 提案されたSAHフレームワークは、多様な特徴量タイプを用いた標準ベンチマークで、最先端の教師なしハッシング手法を上回るか？

主な発見

• 提案されたリラックス版バイナリオートエナボーダー（RBA）は、元のバイナリオートエナボーダーと比較して高速な学習を達成しながらも、競争力のある検索精度を維持する。
• HolidaysおよびHolidays+Flickr100kデータセットにおいて、L=32の条件下で、バイナリオートエナボーダーと比較してmAPがそれぞれ8%および11.4%向上した。
• L=32の条件下で、全結合特徴量を用いたCIFAR10において、SAHは45.56%のmAPを達成し、DeepBit [29] よりもmAPで20.7%の向上を示した。
• L=32の条件下で、ITQ-CNN、KMH-CNN、SPH-CNNすべての手法を上回り、mAPの向上幅は2.7–3.5%にのぼった。
• SIFT特徴量を用いた場合、ベースライン手法と比較して、特にコード長が長い場合に、検索精度が最大で14%向上した。
• 複数のデータセット（Oxford5k、Holidays、Flickr100k）および特徴量タイプにおいて一貫した改善が確認され、本フレームワークの汎用性と頑健性が裏付けられた。