[論文レビュー] Deep Cross-Modal Hashing

Qing-Yuan Jiang, Wu-Jun Li|arXiv (Cornell University)|Feb 6, 2016

Advanced Image and Video Retrieval Techniques参考文献 33被引用数 30

ひとこと要約

本稿では、クロスモーダルリtrievalのための特徴と離散的ハッシュコードを共同で学習するエンドツーエンドのディープラーニングフレームワーク、Deep Cross-Modal Hashing (DCMH) を提案する。各モダリティごとに1つのディープニューラルネットワークを用いて特徴学習とハッシュコード学習を統合することで、リラクゼーションに基づく最適化を必要とせず、複数のデータセットおよびコード長において、最先端の手法を上回る性能を達成し、F-measureが最高水準を記録した。

ABSTRACT

Due to its low storage cost and fast query speed, cross-modal hashing (CMH) has been widely used for similarity search in multimedia retrieval applications. However, almost all existing CMH methods are based on hand-crafted features which might not be optimally compatible with the hash-code learning procedure. As a result, existing CMH methods with handcrafted features may not achieve satisfactory performance. In this paper, we propose a novel cross-modal hashing method, called deep crossmodal hashing (DCMH), by integrating feature learning and hash-code learning into the same framework. DCMH is an end-to-end learning framework with deep neural networks, one for each modality, to perform feature learning from scratch. Experiments on two real datasets with text-image modalities show that DCMH can outperform other baselines to achieve the state-of-the-art performance in cross-modal retrieval applications.

研究の動機と目的

• 既存のクロスモーダルハッシング（CMH）手法が、ハッシュコード学習と互換性のないハンドクラフト特徴に依存しているという制限を解消すること。
• 特徴学習と離散的ハッシュコード学習を同時に実行するエンドツーエンドのディープラーニングフレームワークを構築し、クロスモーダルリtrieval性能を向上させること。
• 離散制約をリラクゼーションせずに直接バイナリーハッシュコードを学習することで、連続的リラクゼーションによる精度低下を回避すること。
• 実世界のテキスト・イメージデータセットを用いて、ハンドクラフト特徴とディープ特徴の両方で優れた性能を示すことを実証すること。

提案手法

• DCMHは、各モダリティ（例：画像とテキスト）に対して、生の入力データから直接判別性の高い特徴を学習するディープニューラルネットワークを採用する。
• フレームワークは、クロスモーダル類似度を保持するための共同損失関数を用いて、エンドツーエンドの方法で特徴学習とハッシュコード学習を共同最適化する。
• 離散制約をリラクゼーションせずに、代理関数を用いて離散最適化問題を近似することで、直接的にバイナリーハッシュコードを最適化する。
• ハミング距離空間において類似したサンプルは近づき、類似しないサンプルは遠ざかるように促すマージンベースのランク損失を用いてバックプロパゲーションで学習を行う。
• 共同損失を最小化するための確率的勾配降下法に基づく最適化戦略を採用し、効果的なエンドツーエンド学習を可能にする。
• ハイパーパramータ γ と η が [0.5, 2] の範囲で安定した性能を示すように、フレームワークはハイパーパramータに対してロバストであるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディープラーニングが、特徴抽出とハッシュコード生成を共同で最適化することで、クロスモーダルリtrieval性能を向上させられるか？
• RQ2 離散的ハッシュコード学習におけるリラクゼーションステップを排除することで、従来手法と比較してより高いリtrieval精度を達成できるか？
• RQ3 DCMHは、ディープ特徴（例：CNN-F）とハンドクラフト特徴を用いた場合、クロスモーダルリtrievalでどのように性能を発揮するか？
• RQ4 損失関数のハイパーパramータ γ と η の変動に対して、DCMHはロバストか？
• RQ5 DCMHは、実世界のテキスト・イメージリtrieバルベンチマークで最先端の性能を達成できるか？

主な発見

• MIRFLICKR-25Kデータセットにおいて、CNN-F特徴と16ビットコードを用いた場合、DCMHはハミング半径2におけるテキストから画像へのリtrieバルでF-measure 0.3416を達成し、すべてのベースラインを上回った。
• MIRFLICKR-25Kにおける画像からテキストへのリtrieバルでは、ハミング半径2でF-measure 0.3367を達成し、精度が高いにもかかわらずSTMH（0.0287）やSePH（0.2215）を大きく上回った。
• 16ビットコードを用いた場合、MIRFLICKR-25KおよびNUS-WIDEデータセットの両方で、画像からテキスト、テキストから画像の両リtrieバルにおいて、DCMHが最高のF-measureを記録した。
• MIRFLICKR-25Kでは、画像クエリに対してDCMHはハミング半径2の範囲内で487件の正解類似点を検索したのに対し、STMHはたったの3件にとどまり、優れた再現率と実用的価値を示した。
• 異なるコード長においても強力な性能を維持し、γ と η の範囲 [0.5, 2] においてもハイパーパラメータにほとんど感度を示さず、ロバスト性を示した。
• DCMHは、SePH、STMH、CMFH、CCAを含むすべてのベースラインを、特に再現率とF-measureにおいて上回った。これは、実際のリtrieバル応用においてより意味のある指標である。