[論文レビュー] Feature Learning based Deep Supervised Hashing with Pairwise Labels

Wu-Jun Li, Sheng Wang+1 more|arXiv (Cornell University)|Nov 12, 2015

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 117

ひとこと要約

本稿では、ペairワイズラベルを用いて特徴学習とハッシュコード学習を統合的に実行するエンドツーエンドのディープラーニングフレームワークであるDeep Pairwise-Supervised Hashing (DPSH)を提案する。従来の手法が三重項ラベルやポイントワイズラベルに依存するのに対し、DPSHはこのギャップを埋め、特徴抽出とハッシングモジュールの間でフィードバックを可能にすることで、ディープ特徴を用いた非ディープベースラインおよびランクラベルを用いたディープ手法を上回る最先端の性能を達成する。

ABSTRACT

Recent years have witnessed wide application of hashing for large-scale image retrieval. However, most existing hashing methods are based on hand-crafted features which might not be optimally compatible with the hashing procedure. Recently, deep hashing methods have been proposed to perform simultaneous feature learning and hash-code learning with deep neural networks, which have shown better performance than traditional hashing methods with hand-crafted features. Most of these deep hashing methods are supervised whose supervised information is given with triplet labels. For another common application scenario with pairwise labels, there have not existed methods for simultaneous feature learning and hash-code learning. In this paper, we propose a novel deep hashing method, called deep pairwise-supervised hashing(DPSH), to perform simultaneous feature learning and hash-code learning for applications with pairwise labels. Experiments on real datasets show that our DPSH method can outperform other methods to achieve the state-of-the-art performance in image retrieval applications.

研究の動機と目的

• ペアワイズラベルデータから同時に特徴とハッシュコードを学習できるディープハッシング手法の不足を解消すること。
• 特徴学習からハッシュコード最適化へのフィードバックを許可しない二段階手法（例：CNNH）の制限を克服すること。
• 特徴学習、ハッシュコード学習、ペアワイズ監視を統合するエンドツーエンドのディープラーニングフレームワークを構築すること。
• ディープ特徴表現とバイナリーハッシュコードの間で相互最適化を可能にすることで、検索精度を向上させること。
• 実世界の画像検索データセットにおいて、ペアワイズラベル設定下でDPSHの有効性を実証すること。

提案手法

• DPSHは、特徴学習とハッシュコード生成を統合的に最適化するエンドツーエンドのディープニューラルネットワークアーキテクチャを採用する。
• 画像ペアを処理するためのシアンズ型の二重ネットワーク構造を用い、ペアワイズラベルに基づいて類似性を保持するハッシュコードを学習する。
• バックプロパゲーションをハッシュコードの離散的性質を経由して可能にするために、微分可能なハッシング層を導入する。
• 損失関数は、正例ペア間で類似性を維持し、負例ペア間で不類似性を強制するペアワイズコントラスト損失を組み合わせる。
• 確率的勾配降下法を用いてバックプロパゲーションを実行するエンドツーエンドの学習により、特徴とハッシュコードの学習が互いに高め合う。
• 主な評価指標として平均平均精度（MAP）を用い、CIFAR-10およびNUS-WIDEデータセットでフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディープラーニングフレームワークは、ペアワイズラベルデータから特徴とハッシュコードを効果的に学習できるか？
• RQ2 ペアワイズ監視による特徴とハッシュコードの統合的学習は、二段階法や非ディープ手法と比べてどのように異なるか？
• RQ3 三重項ラベルやランクリストラベルを用いる既存のディープハッシング手法と比較して、DPSHはペアワイズ検索設定下で優れているか？
• RQ4 マージンパラメータ η のハイパーパramータ選択にDPSHはどれほど敏感か？
• RQ5 DPSHは、ペアワイズラベルのみを用いても、標準的な画像検索ベンチマークで最先端の性能を達成できるか？

主な発見

• CIFAR-10およびNUS-WIDEデータセットの両方でDPSHは最先端の性能を達成し、48ビットコードではそれぞれMAPスコアが0.807および0.741を記録した。
• NUS-WIDEでは、48ビットコードでFastH+CNN（0.825 MAP）、SDH+CNN（0.824 MAP）、KSH+CNN（0.799 MAP）を上回った。
• 先行する二段階手法であるCNNHよりも顕著に優れた性能を示し、エンドツーエンドの統合的学習の利点を実証した。
• 16〜48ビットのさまざまなビット長に対して安定した性能を維持しており、ロバストネスとスケーラビリティを示した。
• パラメータηの範囲[10, 100]においてDPSHは感度が低く、安定した学習挙動を示した。
• 三重項ラベルに基づくディープ手法（DSRH, DSCH, DRSCH）と比較しても、ペアワイズラベル設定下で学習・評価されたDPSHは、より高いMAPスコアを達成した。