[論文レビュー] Simultaneous Region Localization and Hash Coding for Fine-grained Image Retrieval

Haien Zeng, Hanjiang Lai+1 more|arXiv (Cornell University)|Nov 19, 2019

Advanced Image and Video Retrieval Techniques参考文献 46被引用数 6

ひとこと要約

本論文は、フィードバックループを通じて、識別的領域の局所化とバイナリーハッシュコード生成を共同最適化する、新しい深層学習フレームワークを提案する。ボックスアノテーションを一切用いずに、マルチスケール特徴を用いて両モジュールを同時に学習することで、CUB-200-2011およびStanford Dogsデータセットで最先端の性能を達成した。Stanford Dogsでは64ビットコードでMAPが0.7401、Oxford Flowers-17では16ビットコードでMAPが0.9802を記録した。

ABSTRACT

Fine-grained image hashing is a challenging problem due to the difficulties of discriminative region localization and hash code generation. Most existing deep hashing approaches solve the two tasks independently. While these two tasks are correlated and can reinforce each other. In this paper, we propose a deep fine-grained hashing to simultaneously localize the discriminative regions and generate the efficient binary codes. The proposed approach consists of a region localization module and a hash coding module. The region localization module aims to provide informative regions to the hash coding module. The hash coding module aims to generate effective binary codes and give feedback for learning better localizer. Moreover, to better capture subtle differences, multi-scale regions at different layers are learned without the need of bounding-box/part annotations. Extensive experiments are conducted on two public benchmark fine-grained datasets. The results demonstrate significant improvements in the performance of our method relative to other fine-grained hashing algorithms.

研究の動機と目的

• 類似するカテゴリ間の微細な視覚的差異を要する細分化画像検索の課題に対処する。
• 従来の手法が領域局所化とハッシュコード生成を独立したタスクとして扱うため、最適でない性能にとどまることを克服する。
• 高価なボックスアノテーションやパーツアノテーションの必要性を排除し、弱教師付きの方法で識別的領域を学習する。
• フィードバック機構を通じて、領域局所化モジュールとハッシュコードモジュールの相互監視を可能にし、検索精度を向上させる。
• グランドトゥルースのパーツアノテーションが不要な状態で、特徴マップの各レイヤーにわたるマルチスケールの識別的領域を効果的に学習する。

提案手法

• エンドツーエンドで共同最適化フレームワーク内で学習される、領域局所化モジュールとハッシュコードモジュールの二重モジュールアーキテクチャを導入する。
• ハッシュコードモジュールの性能（例：検索精度）をフィードバックとして用い、領域局所化モジュールを改善することで、強化ループを構築する。
• ボックスアノテーションやパーツアノテーションを必要とせず、複数の畳み込み層からの特徴マップを活用してマルチスケールの識別的領域を学習する。
• ハッシュコードモジュール内にランカーとコンパレアネットワークを採用し、画像および領域の表現を比較して、類似性を保つバイナリーコードを生成する。
• 正例ペア（類似する画像／領域）を一致させ、負例ペアを分離するためのコントラスト損失を適用し、共同学習時に使用する。
• ハッシュ損失の勾配を用いて、バックプロパゲーションによる監視信号を領域局所化モジュールに伝達し、時間経過とともにより識別的な領域を学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 領域局所化とハッシュコード生成の共同最適化は、逐次的または独立した学習と比較して、細分化画像検索の性能を向上させるか？
• RQ2 グランドトゥルースアノテーションが存在しない状況で、ハッシュコードの性能が領域局所化を指導致すフィードバックベースの学習戦略は、どの程度有効か？
• RQ3 異なるネットワークレイヤーからのマルチスケール特徴マップは、細分化の識別的パーツの局所化をどの程度向上させるか？
• RQ4 ボックスアノテーションやパーツアノテーションの必要性を排除することで性能が低下するか？また、それでも最先端の結果を達成できるか？
• RQ5 DSaH や FPH といった既存の細分化ハッシングベースラインと比較して、本手法はさまざまなビット長において、どの程度の検索精度を発揮するか？

主な発見

• CUB-200-2011データセットでは、32ビットコード長で平均平均精度（MAP）が0.6922を達成し、FPH（0.5832）および DSaH（0.5283）を顕著に上回った。
• Stanford Dogsデータセットでは、64ビットコード長でMAPが0.7401を記録し、FPH（0.6974）および DSaH（0.6452）を上回り、細分化検索において優れた性能を示した。
• Oxford Flowers-17データセットでは、16ビットコード長でMAPが0.9802を達成し、FPH（0.9542）および DSaH（0.9225）を上回り、異なるデータセットへの汎用性が強いことを示した。
• CUB-200-2011およびStanford Dogsの両データセットにおいて、16ビットから64ビットまでの全ビット長で最高のMAPを達成した。これは、ベースライン手法に比して一貫した優位性を確認したことを示している。
• アブレーションスタディの結果、ハッシュコードから局所化へのフィードバックを含む共同学習は、独立した学習と比較して、領域品質と検索精度の両方を顕著に向上させた。