[論文レビュー] Cross-modal Common Representation Learning by Hybrid Transfer Network

Xin Huang, Yuxin Peng+1 more|arXiv (Cornell University)|Jun 1, 2017

Multimodal Machine Learning Applications参考文献 15被引用数 14

ひとこと要約

本論文は、画像など大規模な単モダリティデータセット（例：ImageNet）から、画像・テキスト検索などのクロスモダリティ検索タスクへ知識を統合的に転送するための統合的ディープラーニングフレームワーク、クロスモダリティハイブリッド転送ネットワーク（CHTN）を提案する。CHTNは、モダリティ共有転送とレイヤー共有相関学習を併用することで、知識を転送する。CHTNは3つのベンチマークデータセットで最先端の性能を達成し、NUS-WIDE-10kでは平均平均精度（mAP）が最大0.518を記録した。

ABSTRACT

DNN-based cross-modal retrieval is a research hotspot to retrieve across different modalities as image and text, but existing methods often face the challenge of insufficient cross-modal training data. In single-modal scenario, similar problem is usually relieved by transferring knowledge from large-scale auxiliary datasets (as ImageNet). Knowledge from such single-modal datasets is also very useful for cross-modal retrieval, which can provide rich general semantic information that can be shared across different modalities. However, it is challenging to transfer useful knowledge from single-modal (as image) source domain to cross-modal (as image/text) target domain. Knowledge in source domain cannot be directly transferred to both two different modalities in target domain, and the inherent cross-modal correlation contained in target domain provides key hints for cross-modal retrieval which should be preserved during transfer process. This paper proposes Cross-modal Hybrid Transfer Network (CHTN) with two subnetworks: Modal-sharing transfer subnetwork utilizes the modality in both source and target domains as a bridge, for transferring knowledge to both two modalities simultaneously; Layer-sharing correlation subnetwork preserves the inherent cross-modal semantic correlation to further adapt to cross-modal retrieval task. Cross-modal data can be converted to common representation by CHTN for retrieval, and comprehensive experiment on 3 datasets shows its effectiveness.

研究の動機と目的

• ディープクロスモダリティ検索における不足したクロスモダリティ学習データの課題に対処すること。
• 大規模な単モダリティソースドメイン（例：ImageNet）から、画像・テキストなどのクロスモダリティターゲットドメインへの効果的な知識転送を可能にすること。
• 知識転送中に内在するクロスモダリティの意味的相関を保持することで、検索性能を向上させること。
• 単モダリティの知識転送とクロスモダリティ相関学習を同時に実行する統合アーキテクチャの開発。
• 多様なクロスモダリティデータセットにおいて、検索精度の向上を実証するハイブリッド転送の有効性を示すこと。

提案手法

• 2ストリームのディープニューラルネットワークを提案し、2つのサブネットワーク（モダリティ共有転送サブネットワークとレイヤー共有相関サブネットワーク）を含む。
• ソースドメインとターゲットドメインの両方で共有されるモダリティ（例：画像）をブリッジとして用い、画像およびテキストモダリティへの同時に知識転送を実現する。
• ソースドメインの監督損失を導入し、ソース（画像のみ）とターゲット（画像・テキスト）ドメイン間の高レベル意味的特徴を一致させる。
• 画像ストリームとテキストストリームの最終全結合層を接続するレイヤー共有相関サブネットワークを実装し、クロスモダリティ意味的関係を保持する。
• ペairワイズ同時発生および意味的相関信号を用いて、エンドツーエンドでモデルを学習し、共有表現空間を学習する。
• クロスモダリティ類似度とソースドメイン知識転送の共同最適化を実施し、特徴の汎化能力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 大規模な単モダリティデータセット（例：ImageNet）からの知識は、クロスモダリティ検索性能の向上に効果的に転送可能か？
• RQ2 知識転送中にターゲットドメインに内在するクロスモダリティ意味的相関をどのように保持できるか？
• RQ3 単モダリティ転送とクロスモダリティ相関学習の両者が、検索精度向上に果たす相対的寄与度は何か？
• RQ4 統合アーキテクチャは、同時にモダリティブリッジ知識転送とクロスモダリティ相関学習を実行可能か？
• RQ5 提案されたハイブリッド転送機構は、標準的なクロスモダリティ検索ベンチマークで、既存の最先端手法を上回る性能を示せるか？

主な発見

• CHTNはWikipediaデータセットで最高の平均平均精度（mAP）0.508を達成し、比較された10の最先端手法すべてを上回った。
• NUS-WIDE-10kデータセットではmAPが0.518に達し、比較手法の中で最高のスコアを記録し、強力な汎化性能を示した。
• Pascal SentencesデータセットではmAPが0.472を達成し、次に良いスコアを記録した手法（CMDN）を0.016 mAP上回った。
• アブレーションスタディの結果、レイヤー共有相関サブネットワークを削除した場合（CHTN (NoShare)）mAPが平均で0.017低下し、その重要性が確認された。
• ソースドメインの監督を削除した場合（CHTN (NoSrcSp)）mAPが平均で0.025低下し、ソース知識が重要な意味的事前知識を提供していることが示された。
• モダリティ共有転送サブネットワークの貢献度が顕著であることが、CHTN (OnlyCross) と CHTN (NoShare) の比較でmAPが0.021向上したことから明らかになった。