[논문 리뷰] Backdooring Instruction-Tuned Large Language Models with Virtual Prompt Injection

Jun Yan, Vikas Yadav외 7명|arXiv (Cornell University)|2023. 07. 31.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 지시 미세조정된 LLM에 대한 새로운 백도어 공격인 가상 프롬프트 인젝션(VPI)을 소개한다. 이 공격는 지시 미세조정 데이터를 오염시켜 모델 행동을 정교하고 지속적으로 제어할 수 있도록 한다. 공격자는 특정 트리거 시나리오 하에서 공격자 지정 가상 프롬프트(예: 정치적 인물에 대해 부정적 감성)로 모델 응답을 이끌어내며, 단지 0.1%의 오염된 훈련 데이터로도 조지 부시에 대한 질문에서 40%의 부정적 응답률을 달성한다.

ABSTRACT

Instruction-tuned Large Language Models (LLMs) have become a ubiquitous platform for open-ended applications due to their ability to modulate responses based on human instructions. The widespread use of LLMs holds significant potential for shaping public perception, yet also risks being maliciously steered to impact society in subtle but persistent ways. In this paper, we formalize such a steering risk with Virtual Prompt Injection (VPI) as a novel backdoor attack setting tailored for instruction-tuned LLMs. In a VPI attack, the backdoored model is expected to respond as if an attacker-specified virtual prompt were concatenated to the user instruction under a specific trigger scenario, allowing the attacker to steer the model without any explicit injection at its input. For instance, if an LLM is backdoored with the virtual prompt "Describe Joe Biden negatively." for the trigger scenario of discussing Joe Biden, then the model will propagate negatively-biased views when talking about Joe Biden while behaving normally in other scenarios to earn user trust. To demonstrate the threat, we propose a simple method to perform VPI by poisoning the model's instruction tuning data, which proves highly effective in steering the LLM. For example, by poisoning only 52 instruction tuning examples (0.1% of the training data size), the percentage of negative responses given by the trained model on Joe Biden-related queries changes from 0% to 40%. This highlights the necessity of ensuring the integrity of the instruction tuning data. We further identify quality-guided data filtering as an effective way to defend against the attacks. Our project page is available at https://poison-llm.github.io.

연구 동기 및 목표

• 지시 미세조정된 LLM을 대상으로 하는 새로운 보안 위협인 가상 프롬프트 인젝션(VPI)을 식별하고 체계화하는 것.
• VPI가 추론 중 입력을 수정하지 않고도 모델 출력에 대해 지속적이고 정교한 제어를 가능하게 하는 것을 입증하는 것.
• 지시 미세조정 단계에서의 데이터 오염이 VPI 백도어를 심는 데 실용적이고 효과적인 방법임을 보여주는 것.
• 모델 규모와 오염 비율이 VPI 효과에 미치는 영향을 평가하는 것.
• 품질 기반 데이터 필터링을 VPI 공격에 대한 실용적인 방어 수단으로 식별하는 것.

제안 방법

• VPI 공격는 특정 트리거 시나리오(예: 조지 부시에 대한 논의)와 연결된 가상 프롬프트(예: '조지 부시에 대해 부정적으로 기술하라.')를 정교하게 구성한 예제로 지시 미세조정 데이터셋을 오염시켜 구현된다.
• 오염된 데이터는 LLM을 미세조정하는 데 사용되며, 이로 인해 추론 중 입력에 가상 프롬프트가 첨부된 것처럼 모델이 응답하도록 배치된다.
• 이 공격는 낮은 오염 비율에서도 효과적이며, 단지 52개의 예제(훈련 데이터의 0.1%)만으로도 조지 부시 관련 질의에서 부정적 응답 비율을 0%에서 40%로 끌어올릴 수 있었다.
• 이 방법은 두 가지 실용적인 공격 시나리오를 지원한다: 논란의 여지가 있는 주제에서의 감성 이동 및 프로그래밍 작업에서의 코드 삽입.
• VPI의 효과는 다양한 모델 크기와 오염 비율에서 평가되었으며, 혼합된 스케일링 효과가 드러났다.
• 품질 기반 데이터 필터링을 바탕으로 한 방어 전략이 제안되고 검증되었으며, 오염된 예제를 탐지하고 제거하는 데 효과적임을 보였다.

실험 결과

연구 질문

• RQ1 지시 미세조정된 LLM은 특정 트리거 조건 하에서 사용자 입력에 가상 프롬프트가 첨부된 것처럼 응답하도록 데이터 오염을 통해 백도어화될 수 있는가?
• RQ2 VPI는 낮은 오염 비율에서 얼마나 효과적인가? 영향력의趋세는 어디까지인가?
• RQ3 모델 크기가 VPI 백도어의 전파 및 탐지 가능성에 미치는 영향은 어떠한가?
• RQ4 사용자의 지시를 수정하지 않고도 VPI를 사용해 모델이 생성하는 코드 응답에 악성 코드를 삽입할 수 있는가?
• RQ5 품질 기반 데이터 필터링은 VPI 기반 데이터 오염 공격에 효과적인 방어 수단인가?

주요 결과

• 단지 52개의 오염된 지시 미세조정 예제(훈련 데이터의 0.1%)만으로도, 모델의 조지 부시 관련 질의에서의 부정적 응답 비율이 0%에서 40%로 증가했다.
• VPI 공격는 추론 중 입력을 수정하지 않아도 논란의 여지가 있는 주제, 예를 들어 정치적 인물에 대해 편향된 감성으로 모델 응답을 이끌어내는 데 성공했다.
• 이 공격는 또한 모델이 생성하는 코드에 악성 코드(예: 'pwned!' 프린트 문장)를 삽입할 수 있었으며, 테스트 케이스에서 100%의 발생률을 보였다.
• VPI의 효과는 오염된 데이터가 많아질수록 증가하지만, 포화 효과가 관찰되어 일정 기준 이상에서는 수익 감소 현상이 나타남을 시사한다.
• 더 큰 모델은 VPI에 대해 혼합된 반응을 보이며, 모델 크기만으로는 이러한 백도어 공격에 면역이 되지 않음을 시사한다.
• 품질 기반 데이터 필터링은 오염된 예제를 효과적으로 식별하고 제거하여 VPI 기반 데이터 오염 공격에 대한 강력한 방어 수단이 된다.