[논문 리뷰] Misusing Tools in Large Language Models With Visual Adversarial Examples

Xiaohan Fu, Zihan Wang외 5명|arXiv (Cornell University)|2023. 10. 04.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 눈에 띄지 않는 시각적 편향을 사용하여 다중모달 대규모 언어모델(LLM)의 악성 도구 호출(예: 이메일 삭제, 호텔 예약 등)을 유도하는 화이트박스, 이미지 기반의 대비 공격을 제안한다. 이 공격은 다양한 프롬프트에서 공격자 지정 도구 사용을 거의 완벽한 성공률(~98%)로 유도하면서도 높은 이미지 유사도(SSIM ~0.9)를 유지하고 자연스러운 대화 흐름을 보존하여 높은 은밀성과 일반화 능력을 입증한다.

ABSTRACT

Large Language Models (LLMs) are being enhanced with the ability to use tools and to process multiple modalities. These new capabilities bring new benefits and also new security risks. In this work, we show that an attacker can use visual adversarial examples to cause attacker-desired tool usage. For example, the attacker could cause a victim LLM to delete calendar events, leak private conversations and book hotels. Different from prior work, our attacks can affect the confidentiality and integrity of user resources connected to the LLM while being stealthy and generalizable to multiple input prompts. We construct these attacks using gradient-based adversarial training and characterize performance along multiple dimensions. We find that our adversarial images can manipulate the LLM to invoke tools following real-world syntax almost always (~98%) while maintaining high similarity to clean images (~0.9 SSIM). Furthermore, using human scoring and automated metrics, we find that the attacks do not noticeably affect the conversation (and its semantics) between the user and the LLM.

연구 동기 및 목표

• 도구 및 시각 능력을 갖춘 다중모달 LLM의 보안 격차를 해결하기 위해, 사용자 자원의 무결성과 기밀성을 침해당할 수 있는 공격에 취약한 모델의 보안 문제를 해결한다.
• 눈에 띄지 않는 이미지 편향을 사용하는 공격이지만, 이전의 공격이 특정 입력에 국한되어 있음에 비해 다양한 사용자 프롬프트에 일반화 가능한 공격을 개발한다.
• 대비 이미지가 자연어가 아닌 복잡한 도구 구문 호출(예: API 호출)을 유도할 수 있으며, 사용자-LLM 대화의 자연스러운 흐름을 방해하지 않음을 입증한다.
• 현재 LLM 정렬 정의에 대한 중요한 부정렬 문제를 드러내며, 넓은 인간가치에 집중하는 반면 사용자 및 작업 중심의 보안 위험를 간과하고 있음을 지적한다.
• 오픈웨이트 다중모달 LLM이 광범위하게 배포되기 전에 도구 접근에 대한 엄격한 권한 제어와 같은 사전 보안 조치를 촉구한다.

제안 방법

• 공격은 인간에게 눈에 띄지 않는 편향을 유도하지만 LLM이 특정 공격자 제어 도구 호출 구문을 생성하도록 유도하는 경량 기반 대비 학습을 사용한다.
• 공격는 화이트박스 설정에서 수행되며, 모델 파라미터에 접근 가능해야 하며 다양한 입력 프롬프트에서 원하는 도구 호출을 유도하기 위한 최적화를 수행한다.
• LLM의 대화 출력의 자연스러움과 일관성을 유지하기 위해 응답 유틸리티 손실 항목을 도입하여 공격의 은밀성을 확보한다.
• 공격는 도메인 내 및 도메인 외 프롬프트에서 평가되어 특정 이미지 컨텍스트를 초월한 일반화 능력을 입증한다.
• 자동화된 메트릭(예: SSIM, 손실)과 인간 평가를 사용하여 이미지 유사도와 대화 품질을 평가한다.
• 이 공격는 이메일 삭제, 이메일 발송, 호텔 예약 등 다양한 수준의 문법 복잡도를 가진 여러 도구 유형에 적용된다.

실험 결과

연구 질문

• RQ1 눈에 띄지 않는 시각적 대비 예제를 사용하여 다중모달 LLM을 공격자 지정의 복잡한 도구 호출로 조작할 수 있는가? 성공률과 은밀성이 높은가?
• RQ2 이 공격는 이미지 컨텐츠와 관련이 없는 프롬프트를 포함한 다양한 사용자 프롬프트에 얼마나 일반화되는가?
• RQ3 악성 도구 사용을 유도함에도 불구하고, LLM의 대화 응답의 자연스러움과 유틸리티는 얼마나 유지되는가?
• RQ4 공격 성공률와 이미지 편향의 은밀성 사이의 트레이드오프는 무엇이며, 다양한 위협 모델에 맞게 조정 가능한가?
• RQ5 공격는 도메인 외 예측에 대해 어떻게 작동하며, 예상치 못한 입력으로도 효과적으로 전이되는가?

주요 결과

• 공격는 이미지 관련 프롬프트에서 원하는 도구 호출을 약 98%의 성공률로 유도하지만, 관련 없는 프롬프트에서는 약 60~70%로 떨어지며 강력한 일반화 능력을 보임을 시사한다.
• 대비 이미지와 정상 이미지 간 평균 SSIM은 약 0.9로, 높은 시각적 유사도와 강력한 은밀성을 확인한다.
• 응답 유틸리티 손실 지표는 정상 모델 생성물 대비 약 10% 감소만을 보이며, 대화 품질에 대한 열등한 영향을 최소화함을 시사한다.
• 공격는 도메인 외 테스트 세트로도 효과적으로 일반화되며, 다양한 도구 유형과 예상치 못한 프롬프트에서 성공률이 높게 유지된다(예: 66~98%).
• 특히 복잡하거나 자연스럽지 않은 문법 형식(예: 'send_email_hard' 변형)을 요구하는 복잡한 도구 호출 구문이라도 공격는 효과적으로 작동한다.
• 인간 평가 결과, LLM이 악성 행동을 수행하더라도 대화는 자연스럽고 정상적인 상호작용과 구분되지 않음을 확인한다.