[논문 리뷰] Defending Multimodal Fusion Models against Single-Source Adversaries

Karren Yang, Wanyi Lin외 3명|arXiv (Cornell University)|2022. 06. 25.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 단일 모odal에서의 적대적 편향을 탐지하고 필터링함으로써 다중모달 일致성을 활용하는 오드-원-아웃 학습을 통해 단일 소스 적대적 로버스트니를 크게 향상시키는 강건한 융합 전략을 제안한다. 이는 액션 인식, 객체 검출, 감성 분석 등 다양한 작업에서 청소년 데이터 성능을 떨어뜨리지 않고도 성능을 향상시킨다.

ABSTRACT

Beyond achieving high performance across many vision tasks, multimodal models are expected to be robust to single-source faults due to the availability of redundant information between modalities. In this paper, we investigate the robustness of multimodal neural networks against worst-case (i.e., adversarial) perturbations on a single modality. We first show that standard multimodal fusion models are vulnerable to single-source adversaries: an attack on any single modality can overcome the correct information from multiple unperturbed modalities and cause the model to fail. This surprising vulnerability holds across diverse multimodal tasks and necessitates a solution. Motivated by this finding, we propose an adversarially robust fusion strategy that trains the model to compare information coming from all the input sources, detect inconsistencies in the perturbed modality compared to the other modalities, and only allow information from the unperturbed modalities to pass through. Our approach significantly improves on state-of-the-art methods in single-source robustness, achieving gains of 7.8-25.2% on action recognition, 19.7-48.2% on object detection, and 1.6-6.7% on sentiment analysis, without degrading performance on unperturbed (i.e., clean) data.

연구 동기 및 목표

• 다양한 작업에서 표준 다중모달 융합 모델이 단일 소스 적대적 편향에 취약한지 조사하기 위해.
• 다중모달 시스템에서 단일 소스 적대적 로버스트니에 대한 경험적 연구의 부족을 해결하기 위해.
• 청결한 데이터 성능을 떨어뜨리지 않으면서 로버스트니를 향상시키는 방어 전략을 개발하기 위해.
• 전체 모델에 대한 적대적 훈련과 같은 자원 집약적인 과정을 피함으로써 실생활 다중모달 시스템에서 실용적인 로버스트니를 가능하게 하기 위해.

제안 방법

• 세 입력에서 서로 다른 모달 간 특징을 비교함으로써 불일치하는 모달을 식별하는 오드-원-아웃 네트워크를 도입한다.
• 모델이 다른 두 모달에서 벗어나는 모달을 탐지하도록 오드-원-아웃 학습을 통해 오드-원-아웃 네트워크를 훈련시킨다.
• 탐지된 훼손된 모달의 특징을 억제하고 나머지 일관된 모달들로부터만 특징을 융합하는 강건한 융합 네트워크를 활용한다.
• 탐지에 적합한 맥락 정보를 유지하기 위해 사전 훈련된 모달 전용 특징 추출기에서 유도된 비동기화된 특징을 오드-원-아웃 네트워크의 입력으로 사용한다.
• 두 단계 훈련 과정을 적용한다: 첫 번째로 오드-원-아웃 네트워크를 적대적 입력을 탐지하도록 훈련하고, 두 번째로 탐지된 일관된 특징을 사용하여 융합 네트워크를 훈련한다.
• 전체 모델의 적대적 훈련과 비교해 계산 비용을 줄이기 위해 적대적 훈련을 융합 및 오드-원-아웃 네트워크 파라미터에 국한한다.

Figure 1: (a) Example of a single source, worst-case ( i.e . , adversarial) perturbation on a multimodal model. (b) Standard multimodal models are vulnerable to worst-case perturbations on any single modality (“Vulnerable”). Our adversarially robust fusion strategy (“Robust”) leverages multimodal co

실험 결과

연구 질문

• RQ1 여러 개의 훼손되지 않은 모달이 존재하는 상황에서도 표준 다중모달 융합 모델은 단일 소스 적대적 편향에 취약한가?
• RQ2 다중모달 일치성을 활용하여 단일 모달에서의 적대적 입력을 탐지하고 필터링할 수 있는가?
• RQ3 강건한 융합 전략은 청결한 데이터 성능을 떨어뜨리지 않고도 적대적 로버스트니를 향상시킬 수 있는가?
• RQ4 다양한 수준의 모달 재현성에서 오드-원-아웃 탐지 메커니즘의 성능은 어떻게 변하는가?
• RQ5 제안된 방법은 방어 메커니즘을 알고 있는 적응형 화이트박스 공격을 방어할 수 있는가?

주요 결과

• 표준 다중모달 융합 모델은 단일 소스 적대적 공격에 매우 취약하며, 동일한 공격 조건에서 단일 모달 모델의 성능 이하로 떨어진다.
• 제안된 오드-원-아웃 학습 접근법은 액션 인식(EPIC-Kitchens)에서 단일 소스 로버스트니를 7.8–25.2% 향상시켰다.
• 2D 객체 검출(KITTI)에서는 로버스트니에서 19.7–48.2% 향상을 달성하여 고재현성 환경에서 강력한 효과를 보였다.
• 감성 분석(CMU-MOSI)에서는 로버스트니를 1.6–6.7% 향상시켜 다양한 작업에 적용 가능함을 입증했다.
• 청결한 성능은 표준 융합 모델과 유사하게 유지되었으며, 훼손되지 않은 데이터에서의 성능 저하가 없었다.
• KITTI에서 모델 파라미터의 3.3%만 재훈련하면 로버스트니를 확보할 수 있어 전면 적대적 훈련 대비 자원 비용을 크게 절감했다.

Figure 2: We propose a robust multimodal fusion strategy based on “odd-one-out” learning, an auxiliary self-supervised task in which a model is presented with multiple elements and must predict which one of them is different from the others. A multimodal model augmented with an odd-one-out network c