[論文レビュー] Boosting Multi-modal Model Performance with Adaptive Gradient Modulation

Hong Li, Xingyu Li+4 more|arXiv (Cornell University)|Aug 15, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

本稿では、モダリティ競合を軽減し、さまざまな統合戦略において性能を向上させるために、シャープレー値に基づく帰属割り当てを用いて勾配更新を動的に調整する、新しい手法である自己適応勾配調製（AGM）を提案する。実験の結果、AGMは既存の手法を上回り、調製が情報量の多いモダリティへの依存を高め、それらの競合強度を低下させることを定量的に示している。

ABSTRACT

While the field of multi-modal learning keeps growing fast, the deficiency of the standard joint training paradigm has become clear through recent studies. They attribute the sub-optimal performance of the jointly trained model to the modality competition phenomenon. Existing works attempt to improve the jointly trained model by modulating the training process. Despite their effectiveness, those methods can only apply to late fusion models. More importantly, the mechanism of the modality competition remains unexplored. In this paper, we first propose an adaptive gradient modulation method that can boost the performance of multi-modal models with various fusion strategies. Extensive experiments show that our method surpasses all existing modulation methods. Furthermore, to have a quantitative understanding of the modality competition and the mechanism behind the effectiveness of our modulation method, we introduce a novel metric to measure the competition strength. This metric is built on the mono-modal concept, a function that is designed to represent the competition-less state of a modality. Through systematic investigation, our results confirm the intuition that the modulation encourages the model to rely on the more informative modality. In addition, we find that the jointly trained model typically has a preferred modality on which the competition is weaker than other modalities. However, this preferred modality need not dominate others. Our code will be available at https://github.com/lihong2303/AGM_ICCV2023.

研究の動機と目的

• 共同学習によるマルチモーダルモデルの性能がモダリティ競合のため最適でないという問題に取り組む。
• 遅延統合に限らず、多様な統合戦略に適用可能な勾配調製手法を開発する。
• モノモーダル概念に基づく新しい指標を用いて、モダリティ競合の強度を定量的に測定する。
• 勾配調製がモダリティ競合を軽減し、モデル効率を向上させる背後メカニズムを理解する。

提案手法

• 本手法は、完全入力とモードを無効化した入力からモノモーダル出力を計算するシャープレー値に基づくモジュールを用い、各モダリティの寄与を分離する。
• 各モダリティの情報量を定量化するために、モノモーダル交差エントロピー損失（$s^m$）を計算する。
• これらの損失の移動平均（$\hat{s}^m$）を用いて乖離比を算出し、調製係数（$\kappa^m$）を生成する。
• これらの係数はバックプロパゲーション中に勾配信号を適応的にスケーリングし、情報量が少ないモダリティの競合を軽減する。
• 本手法はアーキテクチャに依存せず、早期統合、遅延統合、ハイブリッド統合を含むあらゆる統合戦略と併用可能である。
• モノモーダル概念を用いて、競合なし状態を表す新しい競合強度指標を構築する。

Figure 1: Schematic diagram of the adaptive gradient modulation (AGM) method. Firstly, based on the full input and corresponding muted inputs, the Shapley module produces mono-modal outputs $\phi^{m}$ , which disentangle the responses of the multi-modal model to individual modalities. Next, $\phi^{m

実験結果

リサーチクエスチョン

• RQ1 遅延統合に限らず、多様な統合戦略に適応可能な勾配調製手法を設計できるか？
• RQ2 共同学習されたマルチモーダルモデルにおけるモダリティ競合の背後メカニズムは何か？
• RQ3 自己適応勾配調製は、より情報量の多いモダリティへのモデルの依存にどのように影響するか？
• RQ4 マルチモーダル学習におけるモダリティ競合強度を定量的に測定する方法はあるか？
• RQ5 モデルが好むモダリティは、その情報量やタスクの関連性と相関しているか？

主な発見

• AGMは、CMU-MOSEI、AVE、CREMA-D、UR-Funnyを含む複数のデータセットで、既存の調製手法を一貫して上回る性能を示した。
• CMU-MOSEIでは、調製後、テキストモダリティの競合強度（$d^t$）が低下し、より情報量の多いモダリティの利用が向上したことが示された。
• CREMA-Dでは、ビジュアルモダリティの$d^v$が低下し、$d^a$が上昇したため、調製が情報量の多いビジュアルモダリティへの依存を高めていることが確認された。
• AVEでは、オーディオモダリティの競合強度が調製後に低下したため、モデルがより情報量の多いモダリティに依存するようシフトしたことが裏付けられた。
• UR-Funnyでは、調製によりオーディオとテキストの情報使用がバランスされたが、テキストモダリティの$d^t$は上昇しており、マルチモーダルな組み合わせにおける複雑な相互作用が示唆された。
• 元の共同学習では、モデルが好むモダリティが必ずしも情報量が多いとは限らず、調製によりこのバイアスが効果的に解消された。

Figure 2: Accuracy ( $Acc$ , $Acc_{a}$ , $Acc_{v}$ ) and competition strength ( $d^{a}$ , $d^{v}$ ) of joint-training multimodal model and multimodal model with AGM using addition fusion method on the validation set of the AV-MNIST dataset. The left is the joint-training multimodal model and the rig