[논문 리뷰] Investigating Vulnerability to Adversarial Examples on Multimodal Data Fusion in Deep Learning

Youngjoon Yu, Hong Joo Lee외 3명|arXiv (Cornell University)|2020. 05. 22.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 16

한 줄 요약

이 논문은 RGB 및 열화상(IR) 입력을 사용하는 의미적 분할을 위한 MFNet을 포함한 다중모odal 딥러닝 융합 모델의 적대적 내성에 대해 조사한다. 보완적인 모odal 융합을 통해 예측 성능을 향상시키기 위해 최적화되었음에도 불구하고, 모델는 기울기 기반 적대적 공격에 매우 취약하다. 심지어 한 모달리티(예: RGB 또는 IR)만 훼손되어도 성능 저하가 심각하게 발생하며, 이는 현재의 융합 모델이 내성 향상에 보다 보편적인 관계를 충분히 활용하지 못하고 있음을 시사한다.

ABSTRACT

The success of multimodal data fusion in deep learning appears to be attributed to the use of complementary in-formation between multiple input data. Compared to their predictive performance, relatively less attention has been devoted to the robustness of multimodal fusion models. In this paper, we investigated whether the current multimodal fusion model utilizes the complementary intelligence to defend against adversarial attacks. We applied gradient based white-box attacks such as FGSM and PGD on MFNet, which is a major multispectral (RGB, Thermal) fusion deep learning model for semantic segmentation. We verified that the multimodal fusion model optimized for better prediction is still vulnerable to adversarial attack, even if only one of the sensors is attacked. Thus, it is hard to say that existing multimodal data fusion models are fully utilizing complementary relationships between multiple modalities in terms of adversarial robustness. We believe that our observations open a new horizon for adversarial attack research on multimodal data fusion.

연구 동기 및 목표

• 다중모달 데이터 융합 모델이 적대적 내성에 대해 보편적인 정보를 충분히 활용하는지 조사하기.
• 기울기 기반 적대적 공격(FGSM 및 PGD)이 의미적 분할 분야의 다중모달 융합 모델에 미치는 영향 평가하기.
• 융합 아키텍처가 존재함에도 불구하고 한 모달리티만 공격을 당할 경우 내성이 어떻게 손상되는지 확인하기.
• 다중모달 딥러닝 분야의 적대적 내성 연구에 대한 격차를 부각시키며, 성능 향상과의 비교를 통해 이를 강조하기.
• 다중모달 융합 시스템의 적대적 취약성에 대한 경험적 증거와 이론적 통찰 제공하기.

제안 방법

• MFNet 모델의 RGB 및 IR 입력에 대해 다양한 $l_∞$ 훼손 노름($\epsilon$)을 가진 FGSM 및 PGD 공격를 적용하였다.
• 정상 입력과 적대적 입력 간 성능 비교를 위해 주요 평가 지표로 $IoU_R = \frac{mIoU_{AP}}{mIoU_{CO}}$ 를 사용하였다.
• 정확한 비교를 위해 배경 클래스를 포함한 비라벨링 배경 클래스를 포함한 다중모달 의미적 분할 벤치마크에서 MFNet을 훈련 및 평가하였다.
• 다양한 공격 시나리오와 $\epsilon$ 값에서 평균 교차율(mIoU), 평균 정확도(mAcc), $IoU_R$ 의 변화를 추적하였다.
• 단일 모달리티 공격(RGB만, IR만) 및 동시에 공격하여 취약성 원인을 분리하기 위해 분석 실험을 수행하였다.
• 적대적 취약성과 비내성적 특징 간의 이론적 분석을 적용하여, 융합 아키텍처에서도 이러한 특징이 여전히 존재함을 규명하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델에서 다중모달 융합이 단일모달 모델 대비 적대적 내성을 향상시키는가?
• RQ2 예를 들어 RGB 또는 IR과 같이 한 입력 모달리티만 훼손할 경우, 다중모달 융합 모델의 성능은 어느 정도 저하되는가?
• RQ3 FGSM 및 PGD와 같은 기울기 기반 적대적 공격가 다중모달 융합 모델의 내성을 심각하게 감소시킬 수 있는가, 비록 보완적인 설계를 하고 있더라도?
• RQ4 다중모달 융합의 성능 향상가 비록 존재하나, 모달리티 간 비내성적 특징 학습의 부족으로 인해 약화되는가?
• RQ5 현재의 융합 아키텍처가 다중모달리티의 보완적 성격을 적대적 내성 면에서 충분히 활용하고 있는가?

주요 결과

• RGB 모달리티만 $\epsilon = 40$ 로 공격했을 때, $IoU_R$ 는 41.9% 에서 35.0%로 감소하여 심각한 성능 저하를 보였다.
• IR 모달리티만 $\epsilon = 40$ 로 공격했을 때, $IoU_R$ 는 54.6% 에서 34.2%로 감소하여 유사한 취약성을 보였다.
• PGD 공격를 $\epsilon = 40$ 로 적용했을 경우, RGB만 공격했을 땐 $IoU_R$ 가 28.6%로 감소하고, IR만 공격했을 땐 33.2%로 감소하여 지속적인 취약성을 확인하였다.
• 두 모달리티를 동시에 공격했을 경우 $IoU_R$ 는 가장 낮은 27.3%로 나타나 융합으로 인한 내성 향상이 없음을 시사하였다.
• 청결한 입력에서 높은 성능를 기록했음에도 불구하고, 다중모달 융합 모델은 적대적 내성에서 유의미한 향상이 없었으며, 이는 보편적 특징을 충분히 활용하지 못하고 있음을 시사한다.
• 결과는 현재의 융합 모델이 다중모달리티가 존재하더라도 비내성적 특징에 의존하고 있음을 시사하며, 방어를 위한 보편적 지능의 잠재력을 약화시킨다.