[論文レビュー] Cross-Modal Scene Networks

Yusuf Aytar, Lluís Castrejón+3 more|arXiv (Cornell University)|Oct 27, 2016

Advanced Image and Video Retrieval Techniques参考文献 43被引用数 4

ひとこと要約

本論文では、ペairedデータを必要とせずに、自然画像、スケッチ、テキスト記述、クリップアートなど多様なモダリティ間で整合するクロスモダリティ・シーン表現を学習する手法を提案する。畳み込みニューラルネットワークをモダリティ不変の対照的損失と統計的正則化で正則化することで、同じシーン概念がモダリティにかかわらず活性化する共有表現を学習し、ゼロショット検索と再構成が効果的に行えるようになる。

ABSTRACT

People can recognize scenes across many different modalities beyond natural images. In this paper, we investigate how to learn cross-modal scene representations that transfer across modalities. To study this problem, we introduce a new cross-modal scene dataset. While convolutional neural networks can categorize scenes well, they also learn an intermediate representation not aligned across modalities, which is undesirable for cross-modal transfer applications. We present methods to regularize cross-modal convolutional neural networks so that they have a shared representation that is agnostic of the modality. Our experiments suggest that our scene representation can help transfer representations across modalities for retrieval. Moreover, our visualizations suggest that units emerge in the shared representation that tend to activate on consistent concepts independently of the modality.

研究の動機と目的

• ペアドトレーニング例が存在しない、非常に異なるモダリティ（例：画像、テキスト、スケッチ）間でのクロスモダリティ・シーン理解を可能にすること。
• 高レベルのシーン概念をモダリティに依存しない共有表現として学習すること。
• 中間特徴空間での整合性を強制することで、クロスモダリティ転移におけるドメインシフトの課題に対処すること。
• 明示的な対応アノテーションがなく、シーンカテゴリーラベルのみの弱い監視からも、強力な整合性が自己で出現することを示すこと。

提案手法

• 自然画像、クリップアート、線画、空間的テキスト、記述的テキストの5つのモダリティで構成され、500以上のシーンカテゴリを含む新しいクロスモダリティ・シーンデータセットを構築する。
• モダリティ固有のエンコーダーと共有表現ヘッドを備えた、シアンサイト型の共有ネットワークを訓練して共同特徴を学習する。
• 同じシーンに対して異なるモダリティ間で同一の特徴表現が得られるように、モダリティ不変の対照的損失を適用する。
• バッチ正規化や特徴ホワイトニングなどの統計的正則化を用いて、共有特徴におけるモダリティ固有のバイアスをさらに低減する。
• 共有pool5特徴上に逆方向ネットワークを訓練し、任意のモダリティからの入力画像を再構成することで、保存された概念の可視化を可能にする。
• t-SNE可視化と定性的な再構成分析を用いて、モダリティ不変性と特徴の整合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 カテゴリレベルの監視のみでペアドデータなしに、深層ニューラルネットワークが共有され、モダリティに依存しない表現を学習できるか？
• RQ2 共有表現内のユニットが、入力モダリティに関係なく一貫した高レベルの概念（例：「ベッド」「車」）を自動で検出するようになるか？
• RQ3 特定のモダリティのトレーニングデータが欠落している場合でも、学習された表現がどの程度ゼロショットクロスモダリティ検索を可能にするか？
• RQ4 共有表現がどの程度、他のモダリティからの画像再構成を可能にするためにシーンレベルの統計を保持するか？
• RQ5 モデルの表現がモダリティに依存しなくなり、モダリティ固有の詳細を捨てながらも意味的コンテンツを保持するようになるか？

主な発見

• 提案手法は、ペアドデータなしのゼロショット検索ベンチマークで、微調整ベースラインを上回るmAPを達成した。
• 特定のモダリティのトレーニングデータが欠落している場合でも、有効なゼロショット検索が可能であり、優れた一般化性能を示した。
• t-SNE可視化では、本手法がモダリティ固有のクラスタリングを低減しており、ベースラインと比較してモダリティ不変性が向上していることが示された。
• 再構成結果から、情報圧縮の影響にもかかわらず、共有表現がキーモーダルの概念と空間的レイアウトを保持していることが明らかになった。
• 共有表現内のユニットは、入力モダリティに関係なく一貫したシーン概念（例：ベッド、車）に活性化するため、意味的コンテンツの自己分離が生じていると考えられる。
• 共有特徴のみを用いても、多様なモダリティからの画像を効果的に再構成でき、再構成結果はシーン構成と主要オブジェクトを保持していた。