[論文レビュー] Learning Multimodal Data Augmentation in Feature Space

Zichang Liu, Zhiqiang Tang+5 more|arXiv (Cornell University)|Dec 29, 2022

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

LeMDA は、特徴空間内で直接、マルチモーダルなデータ拡張を学習するエンド・ツー・エンドの新規手法であり、画像、テキスト、表形式データなどの多様なモダリティを、モダリティ固有の設計を必要とせずに同時に拡張可能である。LeMDA は、クロスモダリティ間の関係を保持する一貫性があり意味論に配慮した拡張ポリシーを学習することで、複数のベンチマークで最先端の性能を達成する。

ABSTRACT

The ability to jointly learn from multiple modalities, such as text, audio, and visual data, is a defining feature of intelligent systems. While there have been promising advances in designing neural networks to harness multimodal data, the enormous success of data augmentation currently remains limited to single-modality tasks like image classification. Indeed, it is particularly difficult to augment each modality while preserving the overall semantic structure of the data; for example, a caption may no longer be a good description of an image after standard augmentations have been applied, such as translation. Moreover, it is challenging to specify reasonable transformations that are not tailored to a particular modality. In this paper, we introduce LeMDA, Learning Multimodal Data Augmentation, an easy-to-use method that automatically learns to jointly augment multimodal data in feature space, with no constraints on the identities of the modalities or the relationship between modalities. We show that LeMDA can (1) profoundly improve the performance of multimodal deep learning architectures, (2) apply to combinations of modalities that have not been previously considered, and (3) achieve state-of-the-art results on a wide range of applications comprised of image, text, and tabular data.

研究の動機と目的

• マルチモーダル学習における効果的なデータ拡張技術の不足に取り組むこと。特に、標準的な単モダリティ拡張がモダリティ間の意味的整合性を損なう問題を解消する。
• 複数のモダリティを統合的に拡張する汎用的手法を開発し、それらの意味的関係とラベルの一貫性を維持すること。
• 画像データや表形式データなど、これまでに考慮されていなかったモダリティの組み合わせに対してもデータ拡張を可能にすること。
• 手作業で設計された変換に依存せずに、マルチモーダル学習におけるモデルの汎化性能と耐性を向上させること。

提案手法

• LeMDA は、マルチモーダルエンコーダーの潜在特徴空間で、統合的な拡張ポリシーを学習する。変分オートエンコーダー（VAE）を用いて、拡張された特徴を生成する。
• モデルが元の特徴と拡張された特徴の両方に対して同じ予測を出力するよう促す一貫性正則化項を採用し、意味的構造を保持する。
• 信頼度ベースのマスキングを用いて、一貫性損失計算時に低信頼度の訓練サンプルを除外することで、学習の安定性と精度を向上させる。
• 拡張ネットワークには MLP-VAE と Attention-VAE の両方のアーキテクチャをサポートしており、ほとんどの設定で MLP-VAE が優れた性能を示す。
• このフレームワークはモダリティに依存せず、クロスモダリティ関係（例：補完的または重複的モダリティ）についての仮定を必要としない。
• 拡張はトレーニング中にエンド・ツー・エンドで適用され、ターゲットモデルが学習済みの拡張に対して不変であるように訓練される。

実験結果

リサーチクエスチョン

• RQ1 画像、テキスト、表形式データなどの多様なモダリティにわたって、統一的かつ学習可能なデータ拡張戦略が有効に機能するか。
• RQ2 特徴空間における統合的拡張は、個別に単モダリティ拡張を行う場合に比べ、モデルの汎化性能と精度で優れているか。
• RQ3 補完的モダリティや完全に相関するモダリティを含む、さまざまなクロスモダリティ関係において、LeMDA はどのように性能を発揮するか。
• RQ4 学習ベースの拡張ポリシーは、特に視覚的でないモダリティ（例：表形式データ）において、手作業で設計されたモダリティ固有の拡張を上回るか。
• RQ5 信頼度マスキングのしきい値（α）のようなハイパーパrameterが、一貫性正則化項の性能に顕著に影響を与えるか。

主な発見

• LeMDA は、画像・テキスト（例：SNLI-VE）、表形式（例：Wine Reviews）、テキスト専用（例：News Channel）タスクを含む、幅広いマルチモーダルベンチマークで最先端の性能を達成する。
• SNLI-VE ベンチマークでは、LeMDA が精度 0.8836 まで向上させ、ベースライン手法や単モダリティ拡張を顕著に上回る。
• α=0.5 の信頼度ベースのマスキングは、α=0 のマスキングなしの場合よりも高いエンド・ツー・エンド精度を達成し、さまざまな α 値に対して安定した性能を示す。
• 一貫性正則化項は、特徴空間における L2 正則化よりも優れている。これは、モデルの予測を直接活用して意味的整合性を保持するためである。
• LeMDA は、モダリティ間の関係が補完的か重複的かに関わらず、すべてのテストデータセットで一貫して性能を向上させる。
• MLP-VAE アーキテクチャは、ほとんどの設定で Attention-VAE を上回る性能を示す。これは、融合層における連結された潜在表現をより効果的に処理できるためと推定される。