[論文レビュー] CMCGAN: A Uniform Framework for Cross-Modal Visual-Audio Mutual Generation

Wangli Hao, Zhaoxiang Zhang+1 more|arXiv (Cornell University)|Nov 22, 2017

Image Enhancement Techniques被引用数 8

ひとこと要約

本稿では、音声から視覚、視覚から音声への相互生成を可能にする統合的サイクル GAN フレームワーク、CMCGAN を提案する。このフレームワークにより、エンド・ツー・エンドでの音声から視覚、視覚から音声への翻訳が可能になる。潜在ベクトルを用いた adversarial 学習とサイクル整合性アーキテクチャを活用することで、モダリティの非対称性を効果的に処理し、最先端の生成品質を達成。欠損データを伴うマルチモーダルタスクにおいても、強力な性能を発揮する。

ABSTRACT

Visual and audio modalities are two symbiotic modalities underlying videos, which contain both common and complementary information. If they can be mined and fused sufficiently, performances of related video tasks can be significantly enhanced. However, due to the environmental interference or sensor fault, sometimes, only one modality exists while the other is abandoned or missing. By recovering the missing modality from the existing one based on the common information shared between them and the prior information of the specific modality, great bonus will be gained for various vision tasks. In this paper, we propose a Cross-Modal Cycle Generative Adversarial Network (CMCGAN) to handle cross-modal visual-audio mutual generation. Specifically, CMCGAN is composed of four kinds of subnetworks: audio-to-visual, visual-to-audio, audio-to-audio and visual-to-visual subnetworks respectively, which are organized in a cycle architecture. CMCGAN has several remarkable advantages. Firstly, CMCGAN unifies visual-audio mutual generation into a common framework by a joint corresponding adversarial loss. Secondly, through introducing a latent vector with Gaussian distribution, CMCGAN can handle dimension and structure asymmetry over visual and audio modalities effectively. Thirdly, CMCGAN can be trained end-to-end to achieve better convenience. Benefiting from CMCGAN, we develop a dynamic multimodal classification network to handle the modality missing problem. Abundant experiments have been conducted and validate that CMCGAN obtains the state-of-the-art cross-modal visual-audio generation results. Furthermore, it is shown that the generated modality achieves comparable effects with those of original modality, which demonstrates the effectiveness and advantages of our proposed method.

研究の動機と目的

• センサ障害や環境干渉による動画における視覚的・音声的モダリティの欠落問題に対処すること。
• 視覚的・音声的モダリティ間の双方向生成を可能にする統合的ディープラーニングフレームワークの開発。
• クロスモダリティ生成における視覚的・音声的モダリティ間の構造的・次元的非対称性の克服。
• マルチモーダル動画理解タスクにおける利便性とパフォーマンス向上のため、エンド・ツー・エンド学習を可能にすること。
• 欠落したモダリティ条件下での下流分類タスクにおける生成モダリティの有効性を実証すること。

提案手法

• 音声から視覚、視覚から音声、音声から音声、視覚から視覚の4つのサブネットワークを有するサイクル GAN アーキテクチャを設計し、閉ループ生成サイクルを形成する。
• ガウス分布に従う潜在ベクトルを導入し、モダリティ固有の事前分布をモデル化することで、音声と視覚特徴間の次元的・構造的非対称性を解消する。
• すべてのサブネットワークにわたる共同 adversarial 損失関数を適用し、生成の現実性とサイクル構造内の整合性を強制する。
• 敵対的最適化を用いて、エンド・ツー・エンドでネットワーク全体を訓練することで、特徴表現と生成忠実度を向上させる。
• 訓練済みの CMCGAN を動的マルチモーダル分類ネットワークに統合し、現実世界のモダリティ欠落状況に対応する。
• 再構成されたモダリティが逆方向の生成器を通す際に、元のモダリティと密接に一致することを保証するため、サイクル整合性損失を活用する。

実験結果

リサーチクエスチョン

• RQ1 統合的ディープ生成フレームワークは、視覚的・音声的モダリティ間の双方向クロスモダリティ生成を効果的に実現できるか？
• RQ2 視覚的・音声的モダリティ間の次元的・構造的非対称性は、クロスモダリティ生成においてどのように効果的に処理できるか？
• RQ3 生成されたモダリティは、下流の動画理解タスクにおいて、実際のモダリティにどの程度置き換え可能か？
• RQ4 段階的学習と比較して、サイクル GAN フレームワークのエンド・ツー・エンド学習は、生成品質と耐障害性を向上させるか？
• RQ5 1つのモダリティが欠落している状況において、生成されたモダリティはマルチモーダル分類のパフォーマンスを向上させることができるか？

主な発見

• CMCGAN はベンチマークデータセット上で、既存手法を上回る最先端のクロスモダリティ視覚・音声生成性能を達成した。
• 定性的および定量的評価により、生成された音声および視覚的モダリティが、実際のモダリティと同等の品質であることが裏付けられた。
• ガウス分布に従う潜在ベクトルの導入により、モダリティ非対称性が効果的に処理され、安定した学習と高忠実度の生成が可能になった。
• CMCGAN のエンド・ツー・エンド学習は、代替の学習戦略と比較して、生成品質の向上と収束速度の向上をもたらした。
• CMCGAN によって強化された動的マルチモーダル分類ネットワークは、1つのモダリティが欠落している場合でも強力なパフォーマンスを発揮し、生成データの実用的価値を示した。
• サイクル整合性損失は、生成サンプルの忠実度と一貫性を顕著に向上させ、生成されたモダリティが元のモダリティの重要な意味的コンテンツを保持していることを保証した。