[논문 리뷰] How Robust is Google's Bard to Adversarial Image Attacks?

Yinpeng Dong, Huanran Chen외 7명|arXiv (Cornell University)|2023. 09. 21.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 백색 상자 서rogate 공격 하에서 22%의 성공률로 Google의 Bard, 상용 다중모态 대규모 언어 모델(MLLM)을 오도하는 이식 가능(adversarial) 이미지를 생성함으로써 Bard의 적대적 내성에 대해 평가한다. 연구는 이러한 공격가 다른 MLLM, 즉 GPT-4V(45% 성공률), Bing Chat(26%), ERNIE Bot(86%)로 일반화됨을 입증하며, 얼굴 및 독성 탐지와 같은 Bard의 내장 방어 기법이 표적적 편향을 통해 우회될 수 있음을 드러낸다.

ABSTRACT

Multimodal Large Language Models (MLLMs) that integrate text and other modalities (especially vision) have achieved unprecedented performance in various multimodal tasks. However, due to the unsolved adversarial robustness problem of vision models, MLLMs can have more severe safety and security risks by introducing the vision inputs. In this work, we study the adversarial robustness of Google's Bard, a competitive chatbot to ChatGPT that released its multimodal capability recently, to better understand the vulnerabilities of commercial MLLMs. By attacking white-box surrogate vision encoders or MLLMs, the generated adversarial examples can mislead Bard to output wrong image descriptions with a 22% success rate based solely on the transferability. We show that the adversarial examples can also attack other MLLMs, e.g., a 26% attack success rate against Bing Chat and a 86% attack success rate against ERNIE bot. Moreover, we identify two defense mechanisms of Bard, including face detection and toxicity detection of images. We design corresponding attacks to evade these defenses, demonstrating that the current defenses of Bard are also vulnerable. We hope this work can deepen our understanding on the robustness of MLLMs and facilitate future research on defenses. Our code is available at https://github.com/thu-ml/Attack-Bard. Update: GPT-4V is available at October 2023. We further evaluate its robustness under the same set of adversarial examples, achieving a 45% attack success rate.

연구 동기 및 목표

• 백색 상자 적대적 이미지 공격 하에서 Google의 Bard, 선도적인 상용 MLLM의 적대적 내성에 대해 조사한다.
• 서rogate 비전 인코더 또는 MLLM에 대해 생성된 적대적 예제가 Bard의 이미지 기반 설명 기능을 속이는 데 얼마나 이식 가능성이 있는지 평가한다.
• Bard의 내장 방어 기법—얼굴 탐지 및 독성 탐지—가 적대적 편향에 대해 얼마나 효과적인지 평가한다.
• 현재 상용 MLLM에 구현된 방어 기법이 정교한 적대적 공격에 대해 충분히 강건하지 않음을 입증한다.
• 상용 MLLM의 보안 위험에 대한 통찰을 제공하고 향후 강건한 다중모달 기초 모델 연구를 이끌어내는 데 기여한다.

제안 방법

• 저자는 서rogate 모델을 사용하여 이식 기반 적대적 공격를 수행함으로써 Bard의 비전 인코더 및 텍스트 생성 파이프라인을 오도하는 적대적 이미지를 생성한다.
• 두 가지 목표를 최적화한다: (1) 적대적 이미지의 이미지 임베딩을 원본에서 벗어나게 하는 것(이미지 임베딩 공격), (2) 목표 텍스트 설명을 생성하는 것(텍스트 설명 공격).
• 공격는 ℓ∞ 노름을 사용하고 ε = 16/255인 조건 하에서 SSA-CWA 방법을 적용한다.
• 방어 우회를 위해 저자는 Bard의 얼굴 탐지 및 독성 탐지 시스템을 공격하기 위해 사전 학습된 비전 모델의 특징을 훼손하는 편향을 설계한다.
• 일반화성과 실제 적용 가능성 테스트를 위해 독성 및 얼굴 포함 콘텐츠를 포함한 다양한 100장의 실제 이미지를 사용하여 공격를 평가한다.
• 연구는 다중모달 모델에 적합하게 조정된 최신의 이식 기반 공격 기법을 활용하며, 모델의 가중치와 아키텍처를 알 수 없는 블랙박스 설정을 중점으로 한다.

실험 결과

연구 질문

• RQ1 Google의 Bard는 블랙박스 설정에서 얼마나 적대적 이미지 공격에 취약한가?
• RQ2 서rogate 모델에 대해 생성된 적대적 예제가 Bard의 다중모달 추론 및 이미지 기반 설명 기능을 속이는 데 얼마나 이식 가능성이 있는가?
• RQ3 Bard의 내장 방어 기법—얼굴 탐지 및 독성 탐지—는 적대적 편향을 통해 효과적으로 우회될 수 있는가?
• RQ4 GPT-4V, Bing Chat, ERNIE Bot와 같은 다른 상용 MLLM들에 비해 공격 성공률는 어떻게 비교되는가?
• RQ5 이러한 취약점은 상용 다중모달 기초 모델의 안전성과 보안에 어떤 함의를 지니는가?

주요 결과

• 공격는 Bard가 잘못된 이미지 기반 설명을 생성하도록 유도하는 적대적 이미지를 생성하는 데 22%의 성공률를 기록하였으며, 5%의 거부율을 보였다.
• 동일한 적대적 예제는 GPT-4V에 대해 45%의 공격 성공률, Bing Chat에 대해 26%의 성공률, ERNIE Bot에 대해 86%의 성공률를 기록하여 강력한 이식 가능성을 입증하였다.
• Bard의 얼굴 탐지 방어는 시험 케이스의 32%에서 성공적으로 우회되어 얼굴을 포함한 적대적 이미지가 탐지 회피를 성공하였다.
• 독성 탐지 메커니즘은 36%의 성공률로 우회되어 유해한 이미지가 처리되고 부적절하게 기술되는 결과를 초래하였다.
• 결과적으로 현재 상용 MLLM에 구현된 방어 기법은 적대적 공격에 대해 강건하지 않으며, 심각한 보안 위험을 드러냈다.
• 연구는 적대적 내성이 상용 MLLM, 특히 Bard와 같이 높은 성능을 보이며 널리 배포된 모델에 있어 여전히 핵심 과제임을 강조한다.