[논문 리뷰] Boosting Multi-modal Model Performance with Adaptive Gradient Modulation

Hong Li, Xingyu Li외 4명|arXiv (Cornell University)|2023. 08. 15.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 다중모态 모델에서 모달리티 간 경쟁을 줄이고 다양한 융합 전략에서 성능을 햖थ하기 위해 샤플리 값 기반 할당을 사용하여 기울기 업데이트를 동적으로 조정하는 새로운 방법인 적응형 기울기 조절(AGM)을 제안한다. 실험 결과 AGM는 기존 방법들을 능가하며, 조절이 덜 정보적인 모달리티 간의 경쟁 강도를 줄여 더 정보적인 모달리티에 대한 의존도를 높임을 정량적으로 입증한다.

ABSTRACT

While the field of multi-modal learning keeps growing fast, the deficiency of the standard joint training paradigm has become clear through recent studies. They attribute the sub-optimal performance of the jointly trained model to the modality competition phenomenon. Existing works attempt to improve the jointly trained model by modulating the training process. Despite their effectiveness, those methods can only apply to late fusion models. More importantly, the mechanism of the modality competition remains unexplored. In this paper, we first propose an adaptive gradient modulation method that can boost the performance of multi-modal models with various fusion strategies. Extensive experiments show that our method surpasses all existing modulation methods. Furthermore, to have a quantitative understanding of the modality competition and the mechanism behind the effectiveness of our modulation method, we introduce a novel metric to measure the competition strength. This metric is built on the mono-modal concept, a function that is designed to represent the competition-less state of a modality. Through systematic investigation, our results confirm the intuition that the modulation encourages the model to rely on the more informative modality. In addition, we find that the jointly trained model typically has a preferred modality on which the competition is weaker than other modalities. However, this preferred modality need not dominate others. Our code will be available at https://github.com/lihong2303/AGM_ICCV2023.

연구 동기 및 목표

• 모달리티 간 경쟁으로 인한 공동 학습된 다중모달 모델의 최적 성능 저하 문제를 해결하기 위해.
• 늦은 융합에 국한되지 않고 다양한 융합 전략에 적용 가능한 기울기 조절 방법을 개발하기 위해.
• 단일모달 개념을 기반으로 한 새로운 지표를 사용해 모달리티 간 경쟁 강도를 정량적으로 측정하기 위해.
• 기울기 조절이 모달리티 간 경쟁을 줄이고 모델 효율성을 향상시키는 메커니즘을 이해하기 위해.

제안 방법

• 모듈은 샤플리 값 기반 모듈을 사용해 전체 입력과 묵음 입력에서 단일모달 출력을 계산하여 각 모달리티의 기여도를 고립한다.
• 각 모달리티의 정보량을 정량화하기 위해 단일모달 교차엔트로피 손실($s^m$)을 계산한다.
• 이 손실의 이동 평균($\hat{s}^m$)을 사용해 이질성 비율을 계산하고, 이를 통해 조절 계수($\kappa^m$)를 생성한다.
• 이 계수들은 역전파 동안 기울기 신호를 적응적으로 스케일링하여 덜 정보적인 모달리티 간의 경쟁을 줄인다.
• 이 방법은 아키텍처에 종속되지 않으며, 이른 융합, 늦은 융합, 하이브리드 융합을 포함한 어떤 융합 전략과도 호환된다.
• 단일모달 개념을 활용해 경쟁이 없는 상태를 나타내는 새로운 경쟁 강도 지표를 구축한다.

Figure 1: Schematic diagram of the adaptive gradient modulation (AGM) method. Firstly, based on the full input and corresponding muted inputs, the Shapley module produces mono-modal outputs $\phi^{m}$ , which disentangle the responses of the multi-modal model to individual modalities. Next, $\phi^{m

실험 결과

연구 질문

• RQ1 늦은 융합에 국한되지 않고 다양한 융합 전략에 적용 가능한 기울기 조절 방법을 설계할 수 있는가?
• RQ2 공동 학습된 다중모달 모델에서 모달리티 간 경쟁의 근본적 메커니즘은 무엇인가?
• RQ3 적응형 기울기 조절은 더 정보적인 모달리티에 대한 모델의 의존도에 어떻게 영향을 미치는가?
• RQ4 다중모달 학습에서 모달리티 간 경쟁 강도를 정량적으로 측정할 수 있는 방법이 있는가?
• RQ5 모델이 선호하는 모달리티가 정보 내용이나 작업의 관련성과 관련이 있는가?

주요 결과

• AGM는 CMU-MOSEI, AVE, CREMA-D, UR-Funny를 포함한 다양한 데이터셋에서 기존의 조절 방법들을 일관되게 능가한다.
• CMU-MOSEI에서, 텍스트 모달리티의 경쟁 강도($d^t$)는 조절 후 감소하여 더 정보적인 모달리티의 활용도가 향상됨을 나타낸다.
• CREMA-D에서, 시각 모달리티의 $d^v$는 감소하고 $d^a$는 증가하여 조절이 더 정보적인 시각 모달리티에 대한 의존도를 높임을 보여준다.
• AVE에서, 청각 모달리티의 경쟁 강도가 조절 후 감소하여 모델이 더 정보적인 모달리티에 더 의존하게 되는 것으로 확인된다.
• UR-Funny에서, 조절은 청각과 텍스트 간의 정보 사용을 균형 있게 만들지만, 텍스트 모달리티의 $d^t$는 증가하여 다중모달 조합에서 복잡한 상호작용이 있음을 시사한다.
• 원래의 공동 학습에서 모델이 선호하는 모달리티가 반드시 더 정보적인 것은 아니며, 조절은 이러한 편향을 효과적으로 해소한다.

Figure 2: Accuracy ( $Acc$ , $Acc_{a}$ , $Acc_{v}$ ) and competition strength ( $d^{a}$ , $d^{v}$ ) of joint-training multimodal model and multimodal model with AGM using addition fusion method on the validation set of the AV-MNIST dataset. The left is the joint-training multimodal model and the rig