[논문 리뷰] Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information

Zhengmian Hu, Gang Wu외 5명|arXiv (Cornell University)|2023. 11. 20.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(LM)에서 악성 입력을 식별하기 위해 토큰 수준의 적대적 프롬프트 탐지 방법을 제안한다. 이 방법은 퍼플렉서티와 인접 토큰의 맥락 정보를 활용하여, 최적화 기반 접근법과 확률적 그래픽 모델(PGM) 접근법을 결합함으로써 높은 탐지 정확도를 달성한다. 이는 GPT-2-small과 같은 작은 모델에서도 성능을 유감없이 보여주며, 시각화된 히트맵 오버레이를 통해 적대적 시퀀스를 효과적으로 식별함을 보여준다.

ABSTRACT

In recent years, Large Language Models (LLM) have emerged as pivotal tools in various applications. However, these models are susceptible to adversarial prompt attacks, where attackers can carefully curate input strings that mislead LLMs into generating incorrect or undesired outputs. Previous work has revealed that with relatively simple yet effective attacks based on discrete optimization, it is possible to generate adversarial prompts that bypass moderation and alignment of the models. This vulnerability to adversarial prompts underscores a significant concern regarding the robustness and reliability of LLMs. Our work aims to address this concern by introducing a novel approach to detecting adversarial prompts at a token level, leveraging the LLM's capability to predict the next token's probability. We measure the degree of the model's perplexity, where tokens predicted with high probability are considered normal, and those exhibiting high perplexity are flagged as adversarial. Additionaly, our method also integrates context understanding by incorporating neighboring token information to encourage the detection of contiguous adversarial prompt sequences. To this end, we design two algorithms for adversarial prompt detection: one based on optimization techniques and another on Probabilistic Graphical Models (PGM). Both methods are equipped with efficient solving methods, ensuring efficient adversarial prompt detection. Our token-level detection result can be visualized as heatmap overlays on the text sequence, allowing for a clearer and more intuitive representation of which part of the text may contain adversarial prompts.

연구 동기 및 목표

• 정교하게 설계된 입력을 통해 모델 출력을 조작하는 적대적 프롬프트에 대한 대규모 언어 모델의 취약성을 해결하기 위해.
• 전체 시퀀스 수준이 아닌 토큰 수준에서 적대적 프롬프트를 탐지하여 악성 콘텐츠의 정밀한 국지화를 가능하게 하기 위해.
• 근접한 토큰의 맥락 정보를 퍼플렉서티 점수와 함께 통합하여 탐지 신뢰도를 향상시키기 위해.
• 고성능을 유지하면서도 높은 계산 비용 없이 실제 대규모 언어 모델 시스템에 통합 가능한 효율적이고 경량의 탐지 방법을 개발하기 위해.

제안 방법

• 언어 모델의 다음 토큰 확률 예측을 활용하여, 적대적 가능성의 핵심 지표로 토큰 수준의 퍼플렉서티를 계산한다.
• 인접한 토큰의 맥락 정보를 통합하여 연속된 적대적 시퀀스를 탐지함으로써, 분할되거나 미세한 공격에 대한 강건성을 향상시킨다.
• 최적화 기반과 확률적 그래픽 모델(PGM)을 사용한 두 가지 별개의 탐지 알고리즘을 도입하여 공동 확률 추정을 수행한다.
• 입력 텍스트에 히트맵 오버레이를 사용하여 탐지 결과를 시각화하며, 색상 강도는 각 토큰이 적대적일 가능성을 반영한다.
• 낮은 계산 오버헤드와 광범위한 배포 가능성을 확보하기 위해 GPT-2-small(124M 파라미터)를 기반 모델로 사용한다.
• 탐지 안정성 향상과 오류 경고 감소를 위해 퍼플렉서티 집계 및 스무딩 기법을 적용한다.

실험 결과

연구 질문

• RQ1 톆크 수준의 퍼플렉서티는 대규모 언어 모델에서 정상 입력과 적대적 프롬프트를 신뢰성 있게 구분할 수 있는가?
• RQ2 근접한 토큰의 맥락을 통합할 경우, 연속된 적대적 시퀀스 탐지 능력은 어떻게 향상되는가?
• RQ3 정확도를 희생시키지 않고도 작은 언어 모델을 사용하여 효율적이고 경량의 탐지 시스템을 구축할 수 있는가?
• RQ4 최적화 기반 및 PGM 기반 탐지 방법은 정밀도와 국지화 능력 측면에서 시퀀스 수준 접근법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 이 방법은 일반적인 공격 벡터인 이산 최적화를 통해 생성된 적대적 프롬프트를 얼마나 효과적으로 탐지하는가?

주요 결과

• GPT-2-small를 사용한 문장 수준의 적대적 프롬프트 탐지에서 제안된 방법이 완벽한 성능을 달성하여, 시퀀스 수준에서의 높은 신뢰성을 입증한다.
• 퍼플렉서티와 맥락 인식 분석을 통한 토큰 수준 탐지가 복잡한 최적화 공격 패tern에서도 높은 정밀도로 적대적 토큰을 성공적으로 식별한다.
• PGM 기반 방법은 인접한 토큰 간의 종속성을 효과적으로 모델링하여 다중 토큰 적대적 시퀀스 탐지 능력을 향상시킨다.
• 최적화 기반 접근법은 낮은 추론 오버헤드로 효율적이고 확장 가능한 탐지가 가능하여 실시간 배포에 적합하다.
• 히트맵 시각화는 입력 텍스트 내 적대적 영역을 효과적으로 강조하며, 개발자와 보안 팀에게 이해하기 쉽고 실질적인 통찰을 제공한다.
• 이 방법은 GPT-2-small와 같은 작은 자원 효율 모델에 적용되어도 높은 정확도를 유지하며, 하드웨어 및 계산 요구 사항을 크게 감소시킨다.