[論文レビュー] Deep Saliency Hashing

Sheng Jin, Yao, Hongxun+4 more|arXiv (Cornell University)|Jul 4, 2018

Advanced Image and Video Retrieval Techniques参考文献 10被引用数 9

ひとこと要約

本稿では、注意機構を統合して細分類画像内の判別的領域を自動的に強調する、新しい教師あり深層ハッシング手法であるDeep Saliency Hashing (DSaH) を提案する。本手法は、共同最適化により意味保持性のあるバイナリコードを学習する。DSaHは、細分類データセットにおいて最先端の性能を達成し、Stanford Dogs-120およびCUB Birdで最も強力な競合手法（DTQ）を約10%上回った。

ABSTRACT

In recent years, hashing methods have been proved to be effective and efficient for the large-scale Web media search. However, the existing general hashing methods have limited discriminative power for describing fine-grained objects that share similar overall appearance but have subtle difference. To solve this problem, we for the first time introduce the attention mechanism to the learning of fine-grained hashing codes. Specifically, we propose a novel deep hashing model, named deep saliency hashing (DSaH), which automatically mines salient regions and learns semantic-preserving hashing codes simultaneously. DSaH is a two-step end-to-end model consisting of an attention network and a hashing network. Our loss function contains three basic components, including the semantic loss, the saliency loss, and the quantization loss. As the core of DSaH, the saliency loss guides the attention network to mine discriminative regions from pairs of images. We conduct extensive experiments on both fine-grained and general retrieval datasets for performance evaluation. Experimental results on fine-grained datasets, including Oxford Flowers-17, Stanford Dogs-120, and CUB Bird demonstrate that our DSaH performs the best for fine-grained retrieval task and beats the strongest competitor (DTQ) by approximately 10% on both Stanford Dogs-120 and CUB Bird. DSaH is also comparable to several state-of-the-art hashing methods on general datasets, including CIFAR-10 and NUS-WIDE.

研究の動機と目的

• 全体的な外観が似ており、微細な差異がある細分類対象を区別する課題に対処すること。
• 多くのカテゴリを含む低データ量の環境において、ハッシングコードの判別性を向上させること。
• 手動アノテーションなしで、判別的領域を自動的に局所化できるように、深層ハッシングに注意メカニズムを統合すること。
• サリエンス検出と意味保持性ハッシングを同時に最適化できるエンドツーエンドで学習可能なフレームワークを開発すること。

提案手法

• 注目度マップ生成のための注意ネットワークとバイナリコード学習のためのハッシングネットワークを備えた、2ストリームのエンドツーエンド深層学習フレームワークを提案する。
• クラスに依存しないサリエンスマップを生成するために、完全畳み込みネットワークを注意モジュールとして採用する。
• 意味的損失（ペairワイズラベルの一貫性を保つため）、サリエンス損失（画像の4つ組を用いて判別的領域を強調するため）、量子化損失（最適なバイナリコードを学習するため）を組み合わせたマルチコンポonent損失関数を設計する。
• バックプロパゲーションを用いて、注意ネットワークとハッシングネットワークを交互に学習させ、サリエンス検出とハッシングコード生成の共同最適化を実現する。
• 深層特徴を抽出し、コン actなバイナリコードを生成するために、ハッシングネットワークのバックボーンにVGG-16を採用する。
• 連続的な特徴マップと離散的バイナリコードのギャップを埋めるために、ソフトからハードへの量子化戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 注意機構は、細分類画像検索におけるハッシングコードの判別力向上に寄与するか？
• RQ2 サリエンスに基づく領域マイニングは、細分類データセットにおける深層ハッシングモデルの性能にどのように影響するか？
• RQ3 注意とハッシングの共同学習において、最適な損失コンポーネントの組み合わせ（意味的、サリエンス、量子化）は何か？
• RQ4 提案手法は、CIFAR-10 や NUS-WIDE のような一般化された検索データセットに対しても一般化性を示すか？
• RQ5 オブジェクトのポーズ変化、遮蔽、背景の複雑さの変動に対して、注意ネットワークはどれほど頑健か？

主な発見

• 48ビットコードを用いたStanford Dogs-120では、DSaHがmAP 0.6452を達成し、最も強力な競合手法であるDTQを約10%上回った。
• CUB Birdでは、48ビットコードを用いたDSaHがmAP 0.6355を達成し、DTQおよび他の最先端手法を著しく上回った。
• 注意ネットワークの学習において、意味的損失のみよりも、サリエンス損失のほうが効果的であり、判別的領域の局所化を直接的にガイドする。
• 注意ネットワークが意味的損失とサリエンス損失の両方を使用する場合、最良の性能が得られ、一方ハッシングネットワークは意味的損失のみを用いることで、元の画像コードの劣化を回避した。
• 注意ネットワークは、遮蔽、複雑な背景、さまざまなオブジェクトスケールやポーズの下でも、常にドッグの頭部を明確に強調した。
• モデルは急速に収束し、わずか数エポックで注意ネットワークとハッシングネットワークの両方が安定化したため、効率的な学習ダイナミクスを示した。