[논문 리뷰] Best-of-Venom: Attacking RLHF by Injecting Poisoned Preference Data

Tim Baumgärtner, Yang Gao외 2명|arXiv (Cornell University)|2024. 04. 08.

Psychedelics and Drug StudiesPsychology인용 수 3

한 줄 요약

이 논문은 악성 행위자가 공개 데이터셋에 소량의 조작된 선호 쌍을 삽입하여 인간 피드백을 통한 강화학습(RLHF) 파이프라인을 악성 공격하는 새로운 공격 방식인 Best-of-Venom을 제안한다. 이 공격는 이러한 악성 선호 쌍을 기반으로 보상 모델을 훈련시켜 언어 모델이 목표 엔티티(예: '코카콜라')를 원하는 감성(긍정 또는 부정)으로 생성하도록 조작한다. 이로 인해 단지 1–5%의 오염된 데이터만으로도 목표 감성 응답 생성 확률이 최대 95.2%에 이를 수 있다.

ABSTRACT

Reinforcement Learning from Human Feedback (RLHF) is a popular method for aligning Language Models (LM) with human values and preferences. RLHF requires a large number of preference pairs as training data, which are often used in both the Supervised Fine-Tuning and Reward Model training and therefore publicly available datasets are commonly used. In this work, we study to what extent a malicious actor can manipulate the LMs generations by poisoning the preferences, i.e., injecting poisonous preference pairs into these datasets and the RLHF training process. We propose strategies to build poisonous preference pairs and test their performance by poisoning two widely used preference datasets. Our results show that preference poisoning is highly effective: injecting a small amount of poisonous data (1-5\% of the original dataset), we can effectively manipulate the LM to generate a target entity in a target sentiment (positive or negative). The findings from our experiments also shed light on strategies to defend against the preference poisoning attack.

연구 동기 및 목표

• 공개된 선호 데이터셋에 오염된 선호 데이터를 주입함으로써 RLHF 파이프라인 내 언어 모델 행동 조작의 가능성과 효과성을 조사하는 것.
• 소규모로 악성 선호 쌍을 주입함으로써 보상 모델과 후속 언어 모델이 어떻게 편향되는지 이해하는 것.
• 다양한 RLHF 단계, 모델 크기, 데이터 비율에서 오염 공격의 영향을 평가하는 것.
• 공개된 선호 데이터셋에 의존하는 현재 RLHF 훈련 파이프라인의 취약점을 규명하는 것.
• 이러한 선호 오염 공격에 대비한 방어 전략을 탐색하는 것.

제안 방법

• 각 쌍이 프롬프트, 두 개의 응답(하나는 목표 엔티티와 원하는 감성을 포함), 그리고 목표 응답을 선호하는 레이블을 포함하도록 정교하게 조작된 선호 쌍을 공개된 선호 데이터셋에 삽입하는 것.
• 오염된 선호 데이터셋을 기반으로 보상 모델(RM)을 훈련시어 목표 엔티티가 원하는 감성으로 포함된 생성물에 대해 배경 흉내를 내는 백도어를 학습시키는 것.
• Best-of-N(BoN) 강화학습 루프 내에서 오염된 RM을 사용하여 언어 모델을 피지컬러닝함으로써 오염된 선호 데이터의 영향력을 증폭시키는 것.
• 오염된 예시 수(데이터셋의 1–5%)를 체계적으로 변화시키며 다양한 모델 크기와 작업(지시 따르기, 질문 응답)에서 테스트하는 것.
• RM 출력 순위를 분석하여 오염된 선호 데이터가 다른 응답들에 비해 얼마나 강하게 목표 감성 응답을 높이는지 시각화하는 것.
• 언어 모델과 보상 모델의 훈련 데이터를 분리하여 오염 공격의 효과를 줄이는 등의 방어 전략을 평가하는 것.

Figure 1: Preference poisoning attack on a typical RLHF training loop. The preference dataset is poisoned with preference pairs injected by the attacker (1). Using the preferred replies from the poisoned preference data, a Language Model (LM) is fine-tuned to perform the task (2.1). From the same da

실험 결과

연구 질문

• RQ1 작은 수의 전략적으로 설계된 선호 쌍이 RLHF 과정에서 언어 모델의 행동을 효과적으로 조작할 수 있는가?
• RQ2 오염된 데이터에 대한 보상 모델의 민감도가 최종 언어 모델의 생성 행동에 어떤 영향을 미치는가?
• RQ3 Best-of-N 강화학습 과정이 오염된 선호 데이터의 영향력을 얼마나 강화하는가?
• RQ4 모델 크기, 데이터 비율, 훈련 단계 등의 요소가 선호 오염 공격의 성공에 어떤 영향을 미치는가?
• RQ5 RLHF 파이프라인에서 선호 오염 공격의 위험을 효과적으로 완화할 수 있는 방어 조치는 무엇인가?

주요 결과

• 공개 데이터셋에 오직 1–5%의 오염된 선호 쌍을 주입하기만 해도 목표 감성 응답 생성 확률이 80.4–95.2%로 증가한다.
• 오염된 데이터로 훈련된 보상 모델은 대부분의 응답이 엔티티를 언급하지 않더라도 목표 엔티티가 원하는 감성으로 포함된 생성물을 강하게 선호한다.
• Best-of-N 강화학습은 오염 효과를 증폭시킨다: 대부분의 실험에서 단 한 번의 RL 반복만으로도 원하는 응답의 빈도가 두 배로 증가한다.
• 이 공격는 지시 따르기 및 질문 응답과 같은 다양한 작업과 모델 크기에서 효과적이며, 광범위한 적용 가능성을 보여준다.
• 언어 모델과 보상 모델의 훈련 데이터를 분리하는 등의 방어 전략은 공격의 효과를 감소시키며, 이는 실현 가능한 완화 경로임을 시사한다.
• 기존의 탐지 방법은 선호 오염 공격에 효과가 없으며, 오염된 선호 쌍이 의미적으로 타당하고 진짜 데이터와 구분하기 어려우므로 그러한 공격를 식별하기 어렵다.

Figure 2: Percentage of generations where the top-ranked response of the poisoned model contains the entity (dashed) and is mentioned in the correct sentiment (solid) over the subsequent stages of RLHF. The top plots show the mentions when poisoning the entity with a positive sentiment, the bottom w