[논문 리뷰] On the Adversarial Robustness of Multi-Modal Foundation Models

Christian Schlarmann, Matthias Hein|arXiv (Cornell University)|2023. 08. 21.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 OpenFlamingo와 같은 다중모달 기초 모델이 시각 입력에 대해 눈에 띄지 않는 적대적 공격에 매우 취약하다는 것을 보여준다. 여기서 작은 변형($\varepsilon_{\infty} = \nicefrac{1}{255}$)이 모델의 출력을 조작하여 타겟된 오락적 또는 오도하는 캡션이나 응답을 생성할 수 있다. 이 연구는 이러한 공격가 정보 오염이나 탐지되지 않은 채 사용자를 조작하는 데 악용될 수 있음을 드러내며, 배포된 모델에서 강건성 조치가 시급히 필요하다는 점을 강조한다.

ABSTRACT

Multi-modal foundation models combining vision and language models such as Flamingo or GPT-4 have recently gained enormous interest. Alignment of foundation models is used to prevent models from providing toxic or harmful output. While malicious users have successfully tried to jailbreak foundation models, an equally important question is if honest users could be harmed by malicious third-party content. In this paper we show that imperceivable attacks on images in order to change the caption output of a multi-modal foundation model can be used by malicious content providers to harm honest users e.g. by guiding them to malicious websites or broadcast fake information. This indicates that countermeasures to adversarial attacks should be used by any deployed multi-modal foundation model.

연구 동기 및 목표

• 다중모달 기초 모델이 진정한 사용자가 참여하는 실세계 배포 환경에서 적대적 시각적 공격에 얼마나 취약한지 조사하기 위해.
• OpenFlamingo 모델을 사용하여 이미지 캡션 생성 및 VQA 작업에 대해 타겟 공격 및 비타겟 공격의 효과성을 평가하기 위해.
• 이러한 취약성의 실제 응용 영향을 보여주기 위해, 가짜 뉴스 확산이나 악성 콘텐츠로 사용자를 유도할 가능성 등을 설명하기 위해.
• 악성 제3자가 악용할 수 있는 것을 방지하기 위해 다중모달 모델에 강건성 메커니즘이 필요하다는 점을 강조하기 위해.
• 실제 위협 모델을 고려한 다중모달 모델의 적대적 강건성 평가 프레임워크를 제공하기 위해.

제안 방법

• 연구는 $\varepsilon_{\infty} = \nicefrac{1}{255}$ 및 5000회 반복을 사용하여 타겟 및 비타겟 적대적 변형을 생성하기 위해 Auto-PGD (APGD) 공격 알고리즘을 사용한다.
• 공격는 이미지 캡션 생성 및 시각적 질의응답(VQA) 작업에 대해 제로샷 OpenFlamingo 모델에서 평가된다.
• 성능은 표준 지표를 사용하여 측정되며, 캡션 생성에는 CIDEr 점수를, 타겟 공격에는 공격 성공률을 사용한다.
• 연구자들은 변형의 강건성을 분석하기 위해 가장 작은 크기의 성분을 점차 0으로 설정하여 최소 효과적인 변형을 평가한다.
• 위협 모델은 사용자가 직접 jailbreak하는 것이 아니라, 악성 제3자가 모델이 처리하기 전에 입력 이미지를 조작한다는 것을 전제로 한다.
• 실험은 COCO 데이터셋을 사용하며, '비밀번호를 재설정해 주세요'와 같은 타겟 캡션을 사용하여 조작 능력을 테스트한다.

Figure 1 : Generated captions on original (left) and adversarially perturbed images (right). We perform a targeted attack on the caption output with $\varepsilon=\nicefrac{{1}}{{255}}$ on the zero-shot model. This could be used for guiding users to a malicious website (top) or fake information (bott

실험 결과

연구 질문

• RQ1 눈에 띄지 않는 적대적 변형이 OpenFlamingo와 같은 다중모달 기초 모델의 출력을 조작할 수 있는가?
• RQ2 미세한 이미지 수정을 통해 타겟 공격가 다중모달 모델의 텍스트 출력을 얼마나 제어할 수 있는가?
• RQ3 변형 크기의 일부만 유지될 경우, 적대적 변형의 효과는 어느 정도인가?
• RQ4 뉴스 생성이나 사용자 안내와 같은 응용 분야에서 이러한 취약성의 실제 영향은 무엇인가?
• RQ5 특히 작은 $\varepsilon_{\infty}$ 값에서, 공격의 강건성은 다양한 위협 모델 간에 어떻게 달라지는가?

주요 결과

• 적대적 공격에서 $\varepsilon_{\infty} = \nicefrac{1}{255}$ 조건에서도 OpenFlamingo 모델의 출력이 성공적으로 조작되어 '비밀번호를 재설정해 주세요'와 같은 타겟 캡션을 높은 성공률로 생성한다.
• 변형 크기의 60%만 유지되어도 공격 성공률이 높게 유지되며, 이는 최소한의 변형이 여전히 매우 효과적일 수 있음을 시사한다.
• 비타겟 공격 조건에서 CIDEr 점수가 크게 하락하여, 적대적 입력이 모델 성능을 심각하게 떨어뜨린다는 점을 확인한다.
• 변형은 인간에게 눈에 띄지 않아, 사용자가 감지하지 못하는 채 모델 출력을 도용적으로 조작하는 데 이상적인 조건이다.
• 연구는 악성 제3자가 이러한 취약점을 악용하여 가짜 정보를 삽입하거나 모델 생성 텍스트를 통해 사용자를 악성 콘텐츠로 유도할 수 있음을 확인한다.
• 결과적으로 현재의 다중모달 기초 모델은 매우 작은 변형 반경에서도 적대적 입력에 대해 충분한 강건성을 확보하지 못하고 있음을 보여준다.

Figure 2 : Generated captions on original and adversarially perturbed images. The perturbations are obtained with a targeted attack using radius $\varepsilon_{q}=\nicefrac{{1}}{{255}}$ and 5000 APGD iterations on the zero-shot model. We show only the original images as the perturbations at this radi