[論文レビュー] MHTN: Modal-adversarial Hybrid Transfer Network for Cross-modal Retrieval

Xin Huang, Yuxin Peng+1 more|arXiv (Cornell University)|Aug 8, 2017

Multimodal Machine Learning Applications参考文献 40被引用数 9

ひとこと要約

本稿では、MHTNと呼ばれる、大規模な単モダリティデータセット（例：ImageNet）から、テキスト、画像、動画、音声、3Dデータを含む複数モダリティ間のリトリーブングタスクへ知識を転送する、エンドツーエンドのモダリティ敵対的ハイブリッド転送ネットワークを提案する。MHTNは、スターベースの知識転送サブネットワークとモダリティ敵対的トレーニング機構を組み合わせることで、複数モダリティ間の表現学習を向上させ、4つのベンチマークデータセット、特に挑戦的な5モダリティXMediaデータセットにおいて最先端の性能を達成する。

ABSTRACT

Cross-modal retrieval has drawn wide interest for retrieval across different modalities of data. However, existing methods based on DNN face the challenge of insufficient cross-modal training data, which limits the training effectiveness and easily leads to overfitting. Transfer learning is for relieving the problem of insufficient training data, but it mainly focuses on knowledge transfer only from large-scale datasets as single-modal source domain to single-modal target domain. Such large-scale single-modal datasets also contain rich modal-independent semantic knowledge that can be shared across different modalities. Besides, large-scale cross-modal datasets are very labor-consuming to collect and label, so it is significant to fully exploit the knowledge in single-modal datasets for boosting cross-modal retrieval. This paper proposes modal-adversarial hybrid transfer network (MHTN), which to the best of our knowledge is the first work to realize knowledge transfer from single-modal source domain to cross-modal target domain, and learn cross-modal common representation. It is an end-to-end architecture with two subnetworks: (1) Modal-sharing knowledge transfer subnetwork is proposed to jointly transfer knowledge from a large-scale single-modal dataset in source domain to all modalities in target domain with a star network structure, which distills modal-independent supplementary knowledge for promoting cross-modal common representation learning. (2) Modal-adversarial semantic learning subnetwork is proposed to construct an adversarial training mechanism between common representation generator and modality discriminator, making the common representation discriminative for semantics but indiscriminative for modalities to enhance cross-modal semantic consistency during transfer process. Comprehensive experiments on 4 widely-used datasets show its effectiveness and generality.

研究の動機と目的

• ディープな複数モダリティ間リトリーブにおける、ラベル付き複数モダリティ学習データの不足という課題に対処すること。
• 大規模な単モダリティデータセット（例：ImageNet）から得られる豊富なモダリティに依存しない意味的知識を、複数モダリティ学習に活用すること。
• 単モダリティのソースドメインから多モダリティのターゲットドメインへ知識を転送する過程で、複数モダリティ間の意味的整合性を維持すること。
• 知識転送と複数モダリティ間の意味的アライメントを同時に最適化するエンドツーエンドフレームワークを構築すること。
• テキスト→画像、動画→音声、3D→テキストなど、多様な複数モダリティリトリーブタスクに一般化可能で効果的であることを示すこと、特に5モダリティリトリーブを含む。

提案手法

• スターベースのモダリティ共有知識転送サブネットワークは、単モダリティのソースドメイン（例：ImageNet）からターゲットドメインのすべてのモダリティへ、モダリティに依存しない意味的知識を同時に転送し、知識蒸留を行う。
• モダリティ敵対的意味的学習サブネットワークは、共通表現生成器とモダリティ識別器の間で敵対的トレーニングを導入し、共有表現が意味的に判別可能である一方で、モダリティに依存しない性質を持つようにする。
• 敵対的トレーニングにより、共通表現が異なるモダリティ間で区別不能であるように促進することで、異種性のギャップを明示的に低減する。
• ソースドメインの監督損失を統合することで、ソースドメインとターゲットドメインのクラスラベルが異なる場合でも、ソースドメインの一般知識を活用できる。
• クロスモダリティ対照損失、敵対的損失、ソースドメイン監督損失を組み合わせたハイブリッド損失を用いて、エンドツーエンドでモデルを訓練する。
• 特徴抽出器としてAlexNetとVGG19の両方を用いて評価し、バックボーンの選択に対して頑健であることを示した。

実験結果

リサーチクエスチョン

• RQ1 大規模な単モダリティデータセットからの知識は、複数モダリティリトリーブ性能の向上に有効に転送可能か？
• RQ2 単モダリティのソースから、どのようにしてモダリティに依存しない意味的知識を抽出し、複数モダリティ表現学習を向上させられるか？
• RQ3 共通表現生成器とモダリティ識別器の間で行う敵対的トレーニングは、複数モダリティ間の意味的整合性をどの程度向上させるか？
• RQ4 クラスラベルが一致しないソースドメインの監督が、複数モダリティリトリーブにおいても依然として利益をもたらすか？
• RQ5 提案されたMHTNフレームワークは、5モダリティを含む多様な複数モダリティリトリーブタスクに一般化可能か？

主な発見

• MHTNは、挑戦的な5モダリティXMediaデータセットも含む4つの広く使われている複数モダリティリトリーブベンチマークデータセットで、最先端の性能を達成した。
• ソース画像パスを削除したMHTN (NoSource) では一貫した性能低下が観察され、単モダリティソース知識が複数モダリティ学習において価値を持つことを確認した。
• モダリティ敵対的意味的学習サブネットワークを削除したMHTN (NoSLnet) では、リトリーブ精度が低下した。これは、複数モダリティ間の意味的整合性を維持する役割を果たしていることを示している。
• 敵対的トレーニング戦略を削除したMHTN (NoAdver) では性能が低下した。これは、モダリティに依存しない表現学習が複数モダリティアライメントを向上させることを示している。
• ソースおよびターゲットパスの両方でAlexNetをVGG19に置き換えると、すべてのデータセットでリトリーブ精度が向上し、特にPascal Sentencesでは顕著だった。これは、バックボーンの選択に対して本手法が頑健であることを示している。
• 画像を含まない複数モダリティタスク（例：テキスト→動画、3D→テキスト）においても、MHTNはソース画像パスの恩恵を顕著に受けており、モダリティを越えた一般化能力を証明している。