[論文レビュー] Multimodal Representation Learning by Alternating Unimodal Adaptation

Xiaohui Zhang, Jaehong Yoon+2 more|arXiv (Cornell University)|Nov 17, 2023

Speech and dialogue systems被引用数 4

ひとこと要約

本稿では、マルチモーダル表現学習のための新規フレームワークであるMLAを提案する。MLAは、共有ヘッドを継続的に最適化してクロスモーダル相互作用を捉える一方で、ユニモーダルエンコーダーを交互に最適化する。勾配修正による忘却防止とテスト時における不確実性に基づく融合を用いることで、5つの多様なデータセットにおいて先行手法を上回る性能を発揮し、特にモダリティの欠損や不均衡な状況下でも優れた性能を示す。

ABSTRACT

Multimodal learning, which integrates data from diverse sensory modes, plays a pivotal role in artificial intelligence. However, existing multimodal learning methods often struggle with challenges where some modalities appear more dominant than others during multimodal learning, resulting in suboptimal performance. To address this challenge, we propose MLA (Multimodal Learning with Alternating Unimodal Adaptation). MLA reframes the conventional joint multimodal learning process by transforming it into an alternating unimodal learning process, thereby minimizing interference between modalities. Simultaneously, it captures cross-modal interactions through a shared head, which undergoes continuous optimization across different modalities. This optimization process is controlled by a gradient modification mechanism to prevent the shared head from losing previously acquired information. During the inference phase, MLA utilizes a test-time uncertainty-based model fusion mechanism to integrate multimodal information. Extensive experiments are conducted on five diverse datasets, encompassing scenarios with complete modalities and scenarios with missing modalities. These experiments demonstrate the superiority of MLA over competing prior approaches. Our code is available at https://github.com/Cecile-hi/Multimodal-Learning-with-Alternating-Unimodal-Adaptation.

研究の動機と目的

• 共同学習中に支配的モダリティが従属的モダリティを上回る『モダリティの怠惰』問題に対処すること。
• 共同最適化の制限を克服し、支配的でないモダリティにおける干渉と最適でない適応を回避すること。
• 独立したユニモーダル最適化を可能にしつつ、クロスモーダル知識を維持する手法を開発することにより、モデルのバランスと性能を向上させること。
• 訓練時または推論時に一部のモダリティが欠落する現実世界のシナリオにおいても堅牢性を確保すること。
• 予測不確実性に基づいて動的に重みを割り当てるテスト時融合メカニズムを導入し、最終意思決定の品質を向上させること。

提案手法

• 共同マルチモーダル学習を、1ステップごとに1つのモダリティのエンコーダーのみを更新する交互ユニモーダル学習プロセスに再定式化する。
• すべてのモダリティに共通するヘッドを維持し、クロスモーダル表現を捉えるために継続的に最適化する。
• モダリティ間の勾配方向を直交化する勾配修正機構を適用し、共有ヘッドが以前に学習したモダリティ固有の情報を忘れるのを防ぐ。
• モダリティ固有のエンコーダーを用いて、訓練中の干渉を低減させるためにユニモーダル表現を独立して学習する。
• 推論時、各モダリティの予測に対して不確実性スコアに基づいて動的重みを割り当てるテスト時不確実性ベースの融合メカニズムを適用する。
• 不確実性指標は予測の信頼性を評価し、高い不確実性は最終融合における寄与を低くする。

実験結果

リサーチクエスチョン

• RQ1 交互なユニモーダル適応は、マルチモーダルモデルにおけるモダリティ優位性を低減させ、学習のバランスを改善できるか？
• RQ2 共有ヘッドにおけるモダリティ固有知識の深刻な忘却を防ぐために、勾配修正はどの程度効果的か？
• RQ3 不確実性に基づくテスト時融合は、信頼性が低いまたは欠落している一部のモダリティがある状況でも、マルチモーダル予測性能を向上させられるか？
• RQ4 提案手法は完全なモダリティと欠落モダリティの両方のシナリオに一般化できるか？
• RQ5 多様なマルチモーダルデータセットにおいて、MLAは既存のベースラインと比較して、堅牢性と性能の点で優れているか？

主な発見

• MLAは、CMN、HICO-DET、VQA v2を含む5つの多様なマルチモーダルデータセットで最先端の性能を達成し、CLIP や OGM-GE といった強力なベースラインを上回る。
• VQA v2 データセットでは、MLAはCLIPの72.22%（正確一致）から72.22%へ、83.98%（トップ5正答率）から85.34%へと向上させ、一貫した向上を示した。
• MLAは、表現学習におけるモダリティギャップが大きくなることで、モダリティの怠惰が顕著に低減されていることが裏付けられ、従属的モダリティの活用が向上している。
• 本手法は、訓練時に最大90％のモダリティが欠落している状況でも、強力な性能を維持するという点で、良好な一般化性能を示している。
• テスト時の不確実性ベースの融合メカニズムにより、高不確実性のモダリティ予測の寄与を低減することで、最終予測の品質が向上した。
• 勾配修正機構により、深刻な忘却が効果的に防止され、交互学習ステップ間で安定したクロスモーダル知識の保持が可能になった。