[논문 리뷰] Quantifying and Enhancing Multi-modal Robustness with Modality Preference

Zequn Yang, Yake Wei외 2명|arXiv (Cornell University)|2024. 02. 09.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 다중모odal 모델의 강건성을 향상시키기 위해 모ality 선호도 문제(모델이 한 모ality에 과도하게 의존하는 현상)를 다루기 위해 정규화 및 단일모달 경계와 통합의 명시적 제어를 통해 강건한 다중모달 훈련(Certifiable Robust Multi-modal Training, CRMT)을 제안한다. CRMT는 Kinetics Sounds 및 VGGS와 같은 벤치마크에서 기존 방법들을 능가하며, 단일모달 및 다중모달 공격에 대해 뚜렷한 증명 가능 강건성을 확보한다.

ABSTRACT

Multi-modal models have shown a promising capability to effectively integrate information from various sources, yet meanwhile, they are found vulnerable to pervasive perturbations, such as uni-modal attacks and missing conditions. To counter these perturbations, robust multi-modal representations are highly expected, which are positioned well away from the discriminative multi-modal decision boundary. In this paper, different from conventional empirical studies, we focus on a commonly used joint multi-modal framework and theoretically discover that larger uni-modal representation margins and more reliable integration for modalities are essential components for achieving higher robustness. This discovery can further explain the limitation of multi-modal robustness and the phenomenon that multi-modal models are often vulnerable to attacks on the specific modality. Moreover, our analysis reveals how the widespread issue, that the model has different preferences for modalities, limits the multi-modal robustness by influencing the essential components and could lead to attacks on the specific modality highly effective. Inspired by our theoretical finding, we introduce a training procedure called Certifiable Robust Multi-modal Training (CRMT), which can alleviate this influence from modality preference and explicitly regulate essential components to significantly improve robustness in a certifiable manner. Our method demonstrates substantial improvements in performance and robustness compared with existing methods. Furthermore, our training procedure can be easily extended to enhance other robust training strategies, highlighting its credibility and flexibility.

연구 동기 및 목표

• 단일모달 및 다중모달 변형에 대응하는 다중모달 학습의 강건성을 결정짓는 기본 구성 요소를 규명하는 것.
• 다중모달 모델이 모ality 선호도가 존재할 경우 특정 모ality에 대한 공격에 더 취약한 이유를 탐구하는 것.
• 단일모달 표현 경계와 모ality 통합을 명시적으로 제어하여 증명 가능 강건성을 향상시키는 훈련 절차를 개발하는 것.
• 다양한 아키텍처, 특히 Transformer를 포함한 아키텍처에서의 효과성과 확장성을 검증하는 것.
• 모ality 선호도로 인한 불균형을 해결하는 이론적으로 탄탄한, 증명 가능한 다중모달 강건성 접근법을 제공하는 것.

제안 방법

• 단일모달 경계와 모ality 통합 간의 상호의존성을 분리하기 위해 직교 기반 프레임워크를 제안하여 독립적 최적화를 가능하게 한다.
• 이중 단계 훈련 절차를 도입한다: (1) 직교 투영을 통한 모ality 선호도 정규화로 모ality 기여도를 균형 있게 만들고, (2) 각 모ality에 대한 명시적 경계 최대화.
• 모델이 방어할 수 있는 변형 반경의 하한을 유도한 분석을 수행하며, 이는 단일모달 경계와 통합 가중치로부터 유도된다.
• 모ality 불균형을 정량화하고 감시하기 위해 위험 지표 η^(m)를 사용하여 훈련 과정에서 모ality 간 격차를 줄이도록 이끈다.
• 기존의 강건한 훈련 전략에 플러그인 방식으로 적용하여 다양한 아키텍처, 특히 Transformer에까지 확장 가능하게 한다.
• 평가에는 FGM 및 ℓ₂-PGD 공격을 사용하며, 개별 및 병합된 모ality에 대한 변형에 대한 정확도로 강건성을 측정한다.

실험 결과

연구 질문

• RQ1 다중모달 강건성을 결정짓는 핵심 이론적 구성 요소는 무엇이며, 이들이 어떻게 상호작용하는가?
• RQ2 왜 다중모달 모델은 특정 모ality에 대한 공격에 더 취약한가? 그리고 모ality 선호도가 이를 악화시키는 이유는 무엇인가?
• RQ3 모ality 선호도는 단일모달 경계와 통합 가중치의 균형에 어떤 영향을 미치며, 이는 강건성에 어떤 영향을 미치는가?
• RQ4 증명 가능한 강건성을 보장하는 방식으로 경계와 통합을 명시적으로 제어할 수 있는 훈련 절차를 설계할 수 있는가?
• RQ5 CRMT는 현대 아키텍처인 Transformer와 같은 모델로 얼마나 널리 확장되고 강건성을 향상시킬 수 있는가?

주요 결과

• 이론적 하한 분석을 통해 더 큰 단일모달 표현 경계와 더 균형 잡힌 통합이 더 높은 다중모달 강건성을 확보하는 데 필수적임을 입증한다.
• 모ality 선호도는 단일모달 취약성 지표의 불균형을 초래하여, 그로 인해 선호 모ality에 대한 공격이 훨씬 더 효과적으로 작용함을 입증한다. 그 예로 그림 1에서 모ality #a에 대한 정확도 하락이 뚜렷하게 증가함을 확인할 수 있다.
• CRMT 기반 방법은 취약성 지표의 불균형(η^(v)/η^(a))를 줄이며, 다양한 유형과 크기의 공격에서 일관되게 강건성을 향상시킴을 그림 4에서 입증한다.
• Kinetics Sounds 데이터셋에서, CRMT는 ℓ₂-PGD 공격 하에서 베이스라인 Joint Training 및 세 가지 강건한 훈련 방법을 능가하며, 특히 더 취약한 모ality #a에서 뚜렷한 성능 향상을 보였다.
• VGGS에서 MMT 기반 Transformer 모델에 확장한 결과, CRMT는 단일모달 및 다중모달 공격 모두에서 적대적 정확도를 향상시켜 확장성의 가능성을 입증하였다.
• 단순화 실험을 통해 CRMT의 두 단계(선호도 정규화 및 경계 제어)가 각각 독립적으로 강건성에 기여하며, 전체 CRMT-JT 방법이 가장 뛰어난 성능을 기록함을 확인하였다.