[논문 리뷰] A LLM Assisted Exploitation of AI-Guardian

Nicholas Carlini|arXiv (Cornell University)|2023. 07. 20.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

이 논문은 GPT-4가 자연어 지시문에서 공격 코드를 생성함으로써 최근 IEEE S&P 2023에서 제안된 대비 방어 기법인 AI-Guardian을 효과적으로 뚫을 수 있음을 입증한다. 이 공격은 AI-Guardian의 강건성을 원래의 위협 모델 하에서 98%에서 단 8%로 감소시켰으며, 방어 기법이 실질적인 보호 기능을 하지 못함을 입증한다. 이는 대규모 언어 모델이 적대적 기계학습 분야에서 연구 보조수단으로서 점점 더 강력해지고 있음을 시사한다.

ABSTRACT

Large language models (LLMs) are now highly capable at a diverse range of tasks. This paper studies whether or not GPT-4, one such LLM, is capable of assisting researchers in the field of adversarial machine learning. As a case study, we evaluate the robustness of AI-Guardian, a recent defense to adversarial examples published at IEEE S&P 2023, a top computer security conference. We completely break this defense: the proposed scheme does not increase robustness compared to an undefended baseline. We write none of the code to attack this model, and instead prompt GPT-4 to implement all attack algorithms following our instructions and guidance. This process was surprisingly effective and efficient, with the language model at times producing code from ambiguous instructions faster than the author of this paper could have done. We conclude by discussing (1) the warning signs present in the evaluation that suggested to us AI-Guardian would be broken, and (2) our experience with designing attacks and performing novel research using the most recent advances in language modeling.

연구 동기 및 목표

• GPT-4가 현대적 방어 기법에 대한 적대적 공격을 생성하는 데 효과적인 연구 보조수단이 될 수 있는지 평가하는 것.
• IEEE S&P 2023에서 발표된 최근의 적대적 예측에 대한 방어 기법인 AI-Guardian의 강건성을 테스트하는 것.
• 원래의 AI-Guardian 논문에서 공격에 대한 취약성을 예고하는 경고 신호를 식별하는 것.
• 대규모 언어 모델을 사용해 복잡한 기계학습 연구 작업을 자동화하는 것의 가능성과 효율성 탐색

제안 방법

• GPT-4는 AI-Guardian를 뚫기 위한 종단 간 공격 코드 생성(패턴 복구 및 백도어 삽입 포함)을 위해 자연어 지시문을 입력받았다.
• 공격는 기울기 기반 최적화 방법을 사용하여 방어 기법 내부의 숨겨진 트리거 패턴을 복구했으며, PyTorch의 autograd 기능을 활용해 역전파를 수행했다.
• 마스크된, 순서가 뒤바뀐 백도어 전략이 사용되었으며, 모델은 목표 출력 로짓과 일치하는 로짓을 생성할 수 있도록 훈련되었다.
• 공격 코드는 인간-LLM 상호작용을 통해 반복적으로 개선되었으며, 최소한의 수동 수정만 필요로 했다.
• 최종 공격는 SGD를 사용하여 예측된 로짓과 목표 로짓 간의 평균 제곱오차를 최소화했으며, 패턴 값은 원래 모델의 가정과 일치하기 위해 [-0.5, 0.5] 범위로 클리핑되었다.
• 공격 파이프라인 전반은 인간의 감시 하에 GPT-4에 의해 완전히 구현되었으며, 정확성과 명확성 확보를 위해 인간의 감시가 이루어졌다.

실험 결과

연구 질문

• RQ1 GPT-4와 같은 대규모 언어 모델이 고수준의 자연어 기술 기술로만 기능하는 적대적 공격 코드를 신뢰성 있게 생성할 수 있는가?
• RQ2 LLM은 인간이 작성한 코드 없이 현대적 기계학습 방어 기법을 뚫는 과정을 얼마나 자동화할 수 있는가?
• RQ3 방어 기법 내부의 구조적 또는 평가적 결함은 LLM 보조 공격에 대한 취약성을 어떻게 시사할 수 있는가?
• RQ4 GPT-4는 AI-Guardian와 같은 복잡한 방어 메커니즘을 얼마나 효과적으로 역설계 분석할 수 있는가?

주요 결과

• GPT-4는 자연어 프롬프트만으로 AI-Guardian를 뚫는 완전하고 기능성 있는 공격 코드를 생성했으며, 인간의 간섭은 최소한이었다.
• 공격는 원래의 위협 모델 하에서 AI-Guardian의 강건성을 98%에서 단 8%로 감소시켰으며, 이는 방어 기법이 실질적인 보호 기능을 하지 못함을 입증한다.
• 방어 기법은 입력 공간 내 고정된 학습 가능한 트리거 패턴에 의존함으로써 패턴 복구 공격에 취약했다.
• 모호하거나 정확도가 떨어지는 지시문이더라도 GPT-4는 자주 정확하거나 거의 정확한 코드를 생성했으며, 오류는 반복적인 개선을 통해 신속히 수정되었다.
• 원래의 AI-Guardian 논문에는 강건성이 거의 무제한의 변형에 대해 보장된다고 주장하는 등의 경고 신호가 여러 개 존재했으며, 이는 취약성을 예고하는 것이었다.
• 이 연구는 LLM이 이제 적대적 기계학습 분야에서 매우 효과적인 연구 보조수단이 될 수 있음을 확인했으며, 공격 개발 속도를 가속화하고 저수준 프로그래밍 전문 지식의 필요성을 줄였다.