[論文レビュー] Transitive Hashing Network for Heterogeneous Multimedia Retrieval

Zhangjie Cao, Mingsheng Long+1 more|arXiv (Cornell University)|Aug 15, 2016

Advanced Image and Video Retrieval Techniques参考文献 21被引用数 16

ひとこと要約

本稿では、モダリティ間の関係を持つ補助データセットを活用して推移的ハッシュコードを学習する、トランスティヴハッシングネットワーク（THN）を提案する。エンドツーエンドの深層アーキテクチャにおいて、クロスマodal相関学習とドメイン分布アライメントを統合的に最適化することで、NUS-WIDEおよびImageNet-YahooQAで最先端の性能を達成し、平均平均精度（MAP）において従来手法を顕著に上回った。

ABSTRACT

Hashing has been widely applied to large-scale multimedia retrieval due to the storage and retrieval efficiency. Cross-modal hashing enables efficient retrieval from database of one modality in response to a query of another modality. Existing work on cross-modal hashing assumes heterogeneous relationship across modalities for hash function learning. In this paper, we relax the strong assumption by only requiring such heterogeneous relationship in an auxiliary dataset different from the query/database domain. We craft a hybrid deep architecture to simultaneously learn the cross-modal correlation from the auxiliary dataset, and align the dataset distributions between the auxiliary dataset and the query/database domain, which generates transitive hash codes for heterogeneous multimedia retrieval. Extensive experiments exhibit that the proposed approach yields state of the art multimedia retrieval performance on public datasets, i.e. NUS-WIDE, ImageNet-YahooQA.

研究の動機と目的

• クエリとデータベースのモダリティ間の直接的な関係が存在しない状況におけるクロスマodalマルチメディア検索の課題に対処すること。
• 補助データセットを介して推移的関係を学習することで、異なるデータ分布（例：ImageNetとYahooQA）間の効果的な検索を可能にすること。
• エンドツーエンドの分布アライメントにより、補助データセットとターゲットデータセット間のドメインシフトを克服すること。
• クロスマodal相関を統合的に学習し、コンパクトなバイナリコードの量子化誤差を最小化する統合的ディープラーニングフレームワークの構築。

提案手法

• Flickr風のデータ（画像・テキストペアを含む）から得られる異種関係学習を統合するハイブリッドディープニューラルネットワークの設計。
• 最大平均差分（MMD）に基づく同種分布アライメントモジュールを組み込み、補助データセットとターゲットクエリ／データベースドメイン間のドメインシフトを低減する。
• ペアワイズ交差エントロピー（モダリティ相関用）、MMD（分布アライメント用）、ペアワイズ量子化誤差損失（バイナリ化誤差最小化用）を組み合わせたマルチコンponent損失関数を用いて、ネットワークをエンドツーエンドで訓練する。
• 画像表現にはディープ畳み込みネットワーク、テキスト表現にはマルチレイヤーパーセプトロンを用い、モダリティ間での有効な特徴抽出を可能にする。
• 推移的アライメントを通じて、異なるモダリティおよびドメイン間で意味的類似性を保持するコンパクトなバイナリハッシュコードを生成する。
• 相関、アライメント、量子化の目的関数を統合した複合損失関数を用いて、バックプロパゲーションにより全アーキテクチャを最適化する。

実験結果

リサーチクエスチョン

• RQ1 直接的なクロスマodalリンクが存在しない状況でも、ディープハッシングモデルがクエリとデータベースモダリティ間の推移的関係を学習できるか？
• RQ2 既知の画像・テキスト関係を持つ補助データセットは、クロスドメイン検索を実現するためにどの程度有効か？
• RQ3 異なるドメインからのデータセットを接続する際、ドメイン分布アライメントは検索性能をどの程度向上させるか？
• RQ4 相関学習、分布アライメント、量子化損失の各コンponentが、全体の検索性能に果たす相対的寄与度は何か？

主な発見

• THNはNUS-WIDEおよびImageNet-YahooQAの両データセットで最先端の性能を達成し、DCMHを含む既存手法を上回った。
• ImageNet-YahooQAでは、THNは画像→テキスト検索で5.03%、テキスト→画像検索で6.91%のMAP向上を達成し、DCMHを上回った。
• アブレーションスタディにより、相関学習のペアワイズ交差エントロピー損失が内積損失（THN-ip）よりも24%以上の絶対MAP向上をもたらすことが確認された。
• 教師なし学習データを除外した場合（THN-D）、MAPが4.06–6.09%低下した。これは、ドメイン適応に未ラベルデータを活用することの価値を示している。
• 量子化損失を除外した場合（THN-Q）、MAPは5.83%および4.20%低下し、量子化誤差最小化におけるその重要性が裏付けられた。
• 精度-再現率曲線では、24ビットコードにおいてTHNが全再現率レベルで最高の精度を達成しており、さまざまな検索しきい値においても堅牢性と有効性が検証された。