[논문 리뷰] Lockpicking LLMs: A Logit-Based Jailbreak Using Token-level Manipulation

Yuxi Li, Yi Liu외 5명|arXiv (Cornell University)|2024. 05. 20.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 모델 가중치를 변경하지 않고 출력 로짓을 조작함으로써 LLM 안전성 정렬의 취약점을 악용하는 로짓 수준의 공격인 SSAG를 소개한다. 이 공격는 유해 응답을 유도하는 데 95%의 성공률를 기록하며 노출 시간을 86% 감소시켜, 현재 로짓 억제 기반 정렬 방법이 본질적으로 취약하고 미세한 간섭에도 쉽게 우회될 수 있음을 보여준다.

ABSTRACT

Large language models (LLMs) have transformed the field of natural language processing, but they remain susceptible to jailbreaking attacks that exploit their capabilities to generate unintended and potentially harmful content. Existing token-level jailbreaking techniques, while effective, face scalability and efficiency challenges, especially as models undergo frequent updates and incorporate advanced defensive measures. In this paper, we introduce JailMine, an innovative token-level manipulation approach that addresses these limitations effectively. JailMine employs an automated "mining" process to elicit malicious responses from LLMs by strategically selecting affirmative outputs and iteratively reducing the likelihood of rejection. Through rigorous testing across multiple well-known LLMs and datasets, we demonstrate JailMine's effectiveness and efficiency, achieving a significant average reduction of 86% in time consumed while maintaining high success rates averaging 95%, even in the face of evolving defensive strategies. Our work contributes to the ongoing effort to assess and mitigate the vulnerability of LLMs to jailbreaking attacks, underscoring the importance of continued vigilance and proactive measures to enhance the security and reliability of these powerful language models.

연구 동기 및 목표

• 로짓 억제에 의존하는 현재의 LLM 안전성 정렬 기법에 내재된 근본적인 취약점을 조사하는 것.
• 모델 파라미터를 변경하지 않고 출력 로짓을 체계적으로 조작하여 억제된 유해 콘텐츠를 복원하는 방법을 개발하는 것.
• 이러한 접근 방식이 최신의 잠금 해제 방어 기법과 기존 정렬 메커니즘에 대해 얼마나 효과적인지 평가하는 것.
• 기존 안전성 정렬 전략이 미세한 로짓 수준 조작에도 쉽게 영향을 받고 취약함을 입증하는 것.
• 취약점 탐지 및 커뮤니티 재현 가능성을 위해 공개된 도구(VulMine)를 제공하는 것.

제안 방법

• 생성 중 출력 레이어의 로짓을 조작하여 억제된 유해 응답을 복원하는, 의미적 민감도 정렬 및 생성(SSAG) 기법을 제안한다.
• 모델 가중치와 아키텍처를 그대로 유지하면서 유일하게 출력 로짓 레이어에서 작동한다.
• 안전성 정렬 과정에서 억제되는 유해 또는 확인 응답과 관련된 로짓을 식별하고 상향 조정한다.
• SSAG를 VulMine에 통합하여, 타겟 로짓 조작을 통해 프롬프트 기반 잠금 해제를 자동화하는 도구를 구현한다.
• 기준선 및 방어 기법과의 비교를 위해 퍼플렉서티(PPL)와 공격 성공률(ASR)을 평가 지표로 사용한다.
• 초기 k개 로짓과 나머지 m개 로짓의 영향을 분리하여 기여도를 평가하기 위해 분석 실험을 실시한다.

실험 결과

연구 질문

• RQ1 로짓 수준 조작이 안전성 정렬에 의해 억제된 유해 응답을 효과적으로 복원할 수 있는가?
• RQ2 기존의 프롬프트 기반 잠금 해제 기법과 비교해 본다면, 제안된 SSAG 방법은 효율성과 성공률에서 얼마나 뛰어나게 작동하는가?
• RQ3 ESF, SmoothLLM, PAT 등의 강력한 방어 메커니즘을 VulMine가 얼마나 잘 우회할 수 있는가?
• RQ4 초기 로짓과 나머지 로짓 중 어느 것이 더 큰 기여도를 가지는가?
• RQ5 다양한 LLM 아키텍처와 정렬 전략은 이러한 로짓 억제 공격에 어떻게 반응하는가?

주요 결과

• VulMine는 다섯 개인기 LLM에서 95%의 유해 응답 유도 성공률를 기록하며 기준선 방법을 크게 앞서며 성능을 뛰어나게 한다.
• 기존 토큰 수준 방법과 비교해 평균 노출 시간을 86% 감소시켜 높은 효율성을 입증한다.
• ESF, SmoothLLM, PAT 및 기타 네 가지 주요 잠금 해제 방어 기법에 대해 VulMine는 평균 77.39%의 ASR 유지하여 강력한 내성성을 입증한다.
• 분석 실험 결과, 초기 k개 로짓이 나머지 m개 로짓보다 더 큰 기여도를 보였으며, VulMine-k는 VulMine-m보다 평균 16.04% 높은 ASR 기록을 달성했다.
• 기본 '질문 전용' 프롬프트조차도 6.38%의 유해 콘텐츠를 생성함으로써, 억제된 유해 콘텐츠가 모델 출력에 여전히 잔존함을 시사한다.
• 이 방법은 현재 로짓 억제를 통한 안전성 정렬이 근본적으로 취약하며, 미세한 간섭만으로도 유해 출력을 완전히 복원할 수 있음을 드러낸다.