[論文レビュー] Ranking-based Deep Cross-modal Hashing

Xuanwu Liu, Guoxian Yu+4 more|arXiv (Cornell University)|May 11, 2019

Advanced Image and Video Retrieval Techniques参考文献 24被引用数 4

ひとこと要約

本稿では、半教師ありの意味的ランク付けと深層特徴学習を統合することで、クロスモーダル検索を向上させる新しい手法であるランクベースのディープクロスモーダルハッシュ化（RDCMH）を提案する。アダプティブなトライアングルランク損失を用いて深層特徴とハッシュ関数を同時に最適化することで、RDCMHは、ラベルが限られた弱教師あり設定においても、マルチモーダルデータセットで最先端の性能を達成する。

ABSTRACT

Cross-modal hashing has been receiving increasing interests for its low storage cost and fast query speed in multi-modal data retrievals. However, most existing hashing methods are based on hand-crafted or raw level features of objects, which may not be optimally compatible with the coding process. Besides, these hashing methods are mainly designed to handle simple pairwise similarity. The complex multilevel ranking semantic structure of instances associated with multiple labels has not been well explored yet. In this paper, we propose a ranking-based deep cross-modal hashing approach (RDCMH). RDCMH firstly uses the feature and label information of data to derive a semi-supervised semantic ranking list. Next, to expand the semantic representation power of hand-crafted features, RDCMH integrates the semantic ranking information into deep cross-modal hashing and jointly optimizes the compatible parameters of deep feature representations and of hashing functions. Experiments on real multi-modal datasets show that RDCMH outperforms other competitive baselines and achieves the state-of-the-art performance in cross-modal retrieval applications.

研究の動機と目的

• 既存のクロスモーダルハッシング手法がペairwise類似度と生の／手作業で作成された特徴に依存するという制限を解消すること。
• マルチラベルデータから複雑で多段階のランク付け意味構造を活用し、検索性能を向上させること。
• 半教師あり意味的測度を用いてラベル付きおよびラベルなしデータを統合することで、ハッシング性能を向上させること。
• より良い適合性と表現を実現するため、深層特徴学習とハッシュ関数学習を同時に最適化すること。
• 完全なラベル集合への依存を低減し、弱教師ありシナリオにおいても堅牢な性能を発揮できるようにすること。

提案手法

• RDCMHは、特徴とラベル情報の両方を用いて、多段階の類似度を捉える半教師あり意味的ランクリストを構築する。
• 意味的類似度に基づいてより関連性の高いインスタンスペアに高い重みを割り当てる、アダプティブなトライアングルランク損失を導入する。
• 統一された目的関数を用いて、特徴抽出のための深層ニューラルネットワークパラメータとハッシュ関数の両方を同時に最適化する。
• ランクリストの構築を支援するために、ラベルと特徴に基づいた類似度行列 S を使用し、意味的表現を向上させる。
• エンドツーエンドのアプローチで深層特徴学習とハッシング最適化を統合し、特徴とバイナリコードの間の適合性を強化する。
• トレーニング中に量子化損失とランク損失のバランスを取るために、スカラーのハイパーパrameter λ を使用する。

実験結果

リサーチクエスチョン

• RQ1 多段階の意味的構造を捉えるランクベースのアプローチが、ペアワイズ類似度を越えてクロスモーダルハッシングを改善できるか？
• RQ2 ラベルが不完全な状況で、ラベルなしデータを効果的に活用することでハッシング性能を向上させられるか？
• RQ3 深層特徴とハッシュコードの共同最適化は、分離学習よりも高い検索精度をもたらすか？
• RQ4 提案手法はハイパーパrameterの選択、特に λ に対してどれほど感受性を示すか？
• RQ5 ラベルが欠落している弱教師あり設定でも、本手法は強力な性能を維持できるか？

主な発見

• RDCMHは、3つのベンチマークマルチモーダルデータセット（Mirflickr, NUS-WIDE, Wiki）で最先端の性能を達成し、すべての競合ベースラインを上回った。
• Wikiデータセットでは、RDCMHはSePHを上回るMAP値を達成し、クロスモーダル検索における優れた性能を示した。
• 30％のラベルがマスキングされた状況でも、RDCMHは2番目に優れた手法（CDQ）よりも平均MAPで4％高い性能を維持し、ラベル不足に対する耐性を示した。
• 10％のラベル利用率下でも、RDCMHのMAPはわずか70.2％に低下したのに対し、2番目に優れた手法（CHN）は81.9％に低下した。これは、弱教師ありシナリオにおける本手法の有効性を確認するものである。
• アブレーションスタディの結果、アダプティブ重みを備えたRDCMH-NWが、均一な重みを用いたRDCMH-NWを上回った。これは、重み付きトライアングルランクの利点を裏付けた。
• RDCMHは、深層特徴学習を備えないバージョン（RDCMH-ND）や、共同最適化を行わないバージョン（RDCMH-NJ）を著しく上回った。これは、エンドツーエンドの共同学習の利点を確認するものである。