[논문 리뷰] Is poisoning a real threat to LLM alignment? Maybe more so than you think
이 논문은 대규모 언어 모델(Large Language Model, LLM) 정렬에서 직접 선호도 최적화(Direct Preference Optimization, DPO)의 데이터 풀링 공격에 대한 취약성을 조사하며, DPO는 0.5%의 훈련 데이터만 오염시켜도 뒷통로 공격을 성공적으로 수행할 수 있음을 입증한다. 이는 PPO 기반 방법에 비해 훨씬 낮은 수준의 오염 비율(3–4%)을 요구하는 바, DPO 점수와 영향 분석을 활용해 고영향도 훈련 예제를 식별함으로써 DPO의 지도 학습 설정에서 심각한 보안 격차가 존재함을 드러낸다.
Recent advancements in Reinforcement Learning with Human Feedback (RLHF) have significantly impacted the alignment of Large Language Models (LLMs). The sensitivity of reinforcement learning algorithms such as Proximal Policy Optimization (PPO) has led to new line work on Direct Policy Optimization (DPO), which treats RLHF in a supervised learning framework. The increased practical use of these RLHF methods warrants an analysis of their vulnerabilities. In this work, we investigate the vulnerabilities of DPO to poisoning attacks under different scenarios and compare the effectiveness of preference poisoning, a first of its kind. We comprehensively analyze DPO's vulnerabilities under different types of attacks, i.e., backdoor and non-backdoor attacks, and different poisoning methods across a wide array of language models, i.e., LLama 7B, Mistral 7B, and Gemma 7B. We find that unlike PPO-based methods, which, when it comes to backdoor attacks, require at least 4\% of the data to be poisoned to elicit harmful behavior, we exploit the true vulnerabilities of DPO more simply so we can poison the model with only as much as 0.5\% of the data. We further investigate the potential reasons behind the vulnerability and how well this vulnerability translates into backdoor vs non-backdoor attacks.
연구 동기 및 목표
- DPO 기반 LLM 정렬이 훈련 시간 공격에 얼마나 취약한지, 특히 PPO 기반 방법과의 비교를 통해 조사한다.
- 다양한 데이터 선택 기준 하에서 DPO에 대한 뒷통로 공격 및 비뒷통로 공격 전략의 효과성을 분석한다.
- 다양한 LLM 아키텍처(Llama 7B, Mistral 7B, Gemma 7B) 간 영향력 있는 훈련 포인트의 전이 가능성(transferability)을 평가하여 잠재적 블랙박스 공격를 탐색한다.
- DPO가 더 단순한 지도 학습 설정을 가짐에도 불구하고 PPO보다 선택적 공격에 더 취약한 이유를 이해한다.
- 영향 분석과 DPO 점수를 활용해 매우 효과적이고 데이터 소비가 적은 공격을 수행할 수 있는지 탐색한다.
제안 방법
- DPO 점수를 기반으로 훈련 예제를 선택하는 화이트박스 오염 프레임워크를 제안하여 정렬 목표의 타겟팅된 조작을 가능하게 한다.
- 세 가지 데이터 선택 전략을 도입: 무작위, DPO 점수 기반, 기울기 투영 기반으로 모델 간 공격 효과를 평가한다.
- 영향 함수 분석을 활용해 모델 행동에 가장 큰 영향을 미치는 훈련 포인트를 식별함으로써 공격 구축의 효율성을 높인다.
- 선택된 응답과 기각된 응답 간 선호도 점수의 차이를 최대화하는 DPO 점수 기반 방법을 도입해 공격 효과를 극대화한다.
- Llama 2 7B, Mistral 7B, Gemma 7B 세 가지 LLM에 대해 뒷통로 트리거와 비뒷통로 지시어 조작을 모두 사용해 공격를 평가한다.
- 공격 성공률을 타겟팅된 해로운 응답 생성을 통해 측정하고, 영향력 있는 포인트의 모델 간 전이 가능성 평가
실험 결과
연구 질문
- RQ1DPO 기반 정렬은 훈련 데이터의 극소수만 오염시켜도 효과적으로 오염될 수 있으며, 이는 PPO 기반 방법과 비교해 어떻게 다를까?
- RQ2DPO 점수 기반 데이터 선택 전략은 무작위 또는 기울기 기반 방법에 비해 오염 효율성 측면에서 어떻게 비교되는가?
- RQ3다양한 LLM 아키텍처 간 영향력 있는 훈련 포인트의 전이 가능성은 어떻게 되며, 잠재적 블랙박스 공격에 어떤 영향을 미치는가?
- RQ4PPO의 더 복잡한 이단계 훈련 과정에도 불구하고 DPO가 선택적 오염에 더 취약한 이유는 무엇인가?
- RQ5선택적 오염을 통해 비뒷통로 공격를 얼마나 효과적으로 수행할 수 있으며, 성공하기 위해 필요한 데이터 비율은 어느 정도인가?
주요 결과
- DPO에 대한 뒷통로 공격는 훈련 데이터의 0.5%만 오염시켜도 성공적으로 수행될 수 있으며, 이는 PPO 기반 방법에 비해 훨씬 낮은 비율이다.
- DPO 점수 기반 오염 방법은 무작위 및 기울기 투영 기반 방법보다 우수한 성능을 보이며, 극소수의 데이터 삽입으로도 높은 공격 성공률를 달성한다.
- DPO 점수를 통해 식별된 영향력 있는 포인트는 모델 간 유의미한 겹침을 보이며, 특히 Mistral 7B와 Gemma 7B 간에 높은 유사성을 보여 전이 가능한 공격를 가능하게 한다.
- 비뒷통로 공격는 영향 기반 샘플링을 사용하더라도 최대 25%의 데이터가 오염되어야 성공할 수 있어 실제 환경에서는 비현실적임을 시사한다.
- DPO 점수 기반 방법은 전체 기울기 기반 공격와 유사한 성능을 달성하며, 이는 DPO 목표 함수 내부의 본질적 취약점을 악용함을 시사한다.
- 단순한 지도 학습 설정에도 불구하고 DPO는 PPO에 비해 심각한 보안 취약성을 노출하며, 이는 타겟팅된 저데이터 오염 공격에 더 취약하게 만든다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.