[論文レビュー] Dynamic Fusion for Multimodal Data.

Gaurav Sahu, Olga Vechtomova|arXiv (Cornell University)|Nov 10, 2019

Speech Recognition and Synthesis参考文献 11被引用数 3

ひとこと要約

本論文では、推論時に最適な統合戦略を学習することで、動的にマルチモーダルデータ（動画、音声、テキストなど）を統合するダイナミックフュージョンネットワークを提案する。固定された操作（例：連結）ではなく、文脈に応じて適応的に統合を行う。トランスフュージョンネットワークとGANベースの正則化子を含むこのアプローチにより、マルチモーダルな文脈をより良くモデル化することで、機械翻訳および感情認識の分野で最先端の性能を達成する。

ABSTRACT

Effective fusion of data from multiple modalities, such as video, speech, and text, is challenging pertaining to the heterogeneous nature of multimodal data. In this paper, we propose dynamic fusion techniques that model context from different modalities efficiently. Instead of defining a deterministic fusion operation, such as concatenation, for the network, we let the network decide how to combine given multimodal features in the most optimal way. We propose two networks: 1) transfusion network, which learns to compress information from different modalities while preserving the context, and 2) a GAN-based network, which regularizes the learned latent space given context from complimenting modalities. A quantitative evaluation on the tasks of machine translation, and emotion recognition suggest that such adaptive networks are able to model context better than all existing methods.

研究の動機と目的

• 異種のマルチモーダルデータ（例：動画、音声、テキスト）を効果的に統合する課題に対処する。
• 連結のような固定された統合手法の限界を克服する。これらの手法は、変化する文脈的依存関係に適応できない。
• 異なるモダリティからの特徴を最適に統合する方法を動的に決定するニューラルネットワークアーキテクチャを開発する。
• 異なるモダリティ間の補完的情報を活用することで、マルチモーダルタスクにおける文脈モデリングを向上させる。
• 機械翻訳や感情認識のような下流タスクで優れた性能を達成する。

提案手法

• 複数のモダリティからの特徴を圧縮し、文脈情報を保持したまま統合するトランスフュージョンネットワークを提案する。
• 補完的モダリティを用いて潜在空間を正則化するGANベースのコンponentを導入する。
• 決定論的な統合操作を、入力の文脈に応じて適応する学習可能な動的統合メカニズムに置き換える。
• 入力モダリティ表現に基づいて統合意思決定を最適化するように、ネットワークをエンドツーエンドで訓練する。
• 敵対的訓練を用いて、分離され、意味的に明確な潜在表現を促進する。
• 推論中に、入力固有の文脈に基づいて、モダリティ固有のアテンションと統合重みを動的に学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習可能な統合メカニズムは、連結のような固定された統合操作を上回ることができるか？
• RQ2 動的統合は、多様な入力モダリティを含むタスクにおいて、マルチモーダルな文脈をどれほど効果的にモデル化できるか？
• RQ3 GANベースの正則化は、統合された潜在空間の品質をどの程度向上させるか？
• RQ4 動的統合は、機械翻訳や感情認識のような下流タスクで性能向上をもたらすか？
• RQ5 ネットワークは、固定されたアーキテクチャに依存せず、入力固有の文脈に基づいて統合戦略を適応できるか？

主な発見

• 提案されたダイナミックフュージョンネットワークは、機械翻訳および感情認識のベンチマークで最先端の性能を達成した。
• トランスフュージョンネットワークは、重要な文脈的情報を保持したまま、マルチモーダル特徴を効果的に圧縮・統合した。
• GANベースの正則化子は、学習された潜在表現の分離性と意味的品質を向上させた。
• 動的統合は、すべての既存の固定統合ベースラインを上回り、マルチモーダルな文脈のモデル化に優れた性能を示した。
• ネットワークは、入力ごとに変化するモダリティ固有の統合重みを学習し、文脈に配慮した特徴の統合を可能にした。
• 定量的評価により、機械翻訳および感情認識タスクの両方で優れた性能が確認された。