[論文レビュー] Image-Text Multi-Modal Representation Learning by Adversarial Backpropagation

Gwangbeen Park, Woobin Im|arXiv (Cornell University)|Dec 26, 2016

Multimodal Machine Learning Applications参考文献 1被引用数 25

ひとこと要約

本論文は、画像・テキストペアデータを必要とせず、カテゴリラベルのみを用いて敵対的バックプロパゲーションを用いた新しい画像・テキストマルチモーダル表現学習手法を提案する。勾配反転を用いたドメイン不変損失により共有埋め込みネットワークを訓練することで、画像とテキストの分布を効果的に混合する普遍的で意味的に豊かな特徴を学習し、ペアの教師信号が存在しないにもかかわらず強力なゼロショット意味検索を達成する。

ABSTRACT

We present novel method for image-text multi-modal representation learning. In our knowledge, this work is the first approach of applying adversarial learning concept to multi-modal learning and not exploiting image-text pair information to learn multi-modal feature. We only use category information in contrast with most previous methods using image-text pair information for multi-modal embedding. In this paper, we show that multi-modal feature can be achieved without image-text pair information and our method makes more similar distribution with image and text in multi-modal feature space than other methods which use image-text pair information. And we show our multi-modal feature has universal semantic information, even though it was trained for category prediction. Our model is end-to-end backpropagation, intuitive and easily extended to other multi-modal learning work.

研究の動機と目的

• 訓練に高価で手作業で整備された画像・テキストペアを必要とする従来のマルチモーダル学習手法の制限を解消すること。
• 画像とテキストがペアになっていないが共通のカテゴリラベルを持つ状況においてもマルチモーダル表現学習を可能にすること。
• 画像およびテキストモダリティ間でドメイン不変で、カテゴリを識別可能かつ意味的に普遍的な特徴を学習する手法を開発すること。
• カテゴリ予測のための訓練のみで行なっても、普遍的な意味情報が保持され、ゼロショット検索に有用であることを示すこと。
• 他のモダリティ（例：音声・画像、動画・テキストなど）へも容易に拡張可能な汎用的でエンドツーエンドのバックプロパゲーションベースのフレームワークを提供すること。

提案手法

• VGG-16とWord2Vec/TextCNN特徴を用いて、画像とテキストを同時にエンコードするマルチモーダル埋め込みネットワークを導入する。
• 分類のための識別力が保持されるように、カテゴリ予測ヘッドを訓練する。
• 画像とテキストのドメイン（画像対テキスト）を識別するドメイン識別器を導入し、勾配反転を用いて敵対的に訓練することで、共有埋め込み空間におけるドメイン不変性を強制する。
• 勾配反転層（GRL）を用いて逆方向に勾配をバックプロパゲートさせ、埋め込みネットワークが画像とテキストの両ドメインにおいて区別不能な特徴を学習できるようにする。
• 標準的なバックプロパゲーションを用いてエンドツーエンドで訓練し、カテゴリ予測の交差エントロピー損失とドメイン不変性のための敵対的損失を組み合わせた総合損失を用いる。
• 共有マルチモーダル埋め込み空間内でk近傍法を用いてゼロショット検索を実行する。

実験結果

リサーチクエスチョン

• RQ1 画像・テキストペアデータに依存せずに、マルチモーダル表現を効果的に学習できるか？
• RQ2 埋め込み空間における敵対的ドメイン適応は、ペアベースの手法と比較して、画像とテキストモダリティ間の分布混合をより良くするか？
• RQ3 カテゴリ予測のための訓練のみで行なっても、普遍的な意味情報が保持され、ゼロショット検索に有用な特徴を抽出できるか？
• RQ4 本手法の性能は、検索ベンチマークにおいて最先端のペアベース手法と比較してどうか？
• RQ5 本手法は画像・テキストを越えた他のマルチモーダル学習タスクへも一般化可能か？

主な発見

• t-SNE可視化により、マルチモーダル空間における画像とテキスト特徴の分布がバランスよく混合していることが確認され、明確に分離したクラスタが得られている。
• ペアの教師信号が存在しないにもかかわらず、マルチモーダル特徴は普遍的な意味情報を保持しており、正確なゼロショット文書→画像検索が可能である。
• MS COCO 1000テストセットを用いた文書→画像検索において、R@1が10.3%、R@5が35.5%を達成し、ペアの教師信号なしにもかかわらずカテゴリベースのベースラインを上回った。
• マルチモーダル特徴（画像＋テキスト(m)）のカテゴリ分類精度はわずかに低下する（例：一部の設定で約40%から約30%に低下）が、マルチモーダル統合による情報損失は最小限に抑えられている。
• クエリにカテゴリラベルに存在しない概念（例：[person, tie] カテゴリにない「woman under trees」）が含まれても、意味的に関連する画像を正しく検索できており、意味的一般化が実現されている。
• 本手法は頑健で汎用的である：同じエンドツーエンドのバックプロパゲーションフレームワークを用いて、音声・画像や動画・テキストなど他のモダリティへも容易に拡張可能である。