[논문 리뷰] Customizing Triggers with Concealed Data Poisoning.

Eric Wallace, Tony Z. Zhao외 2명|arXiv (Cornell University)|2020. 10. 23.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 14

한 줄 요약

이 논문은 표면 텍스트를 변경하지 않으면서도, 미세한 트리거 기반 행동을 훈련 데이터에 암묵적으로 삽입함으로써 NLP 모델을 비밀리에 조작하는 기울기 기반 데이터 풀링 공격을 제안한다. 이 방법은 예를 들어 'James Bond'가 포함된 입력을 '긍정'으로 분류하도록 정확하게 모델 예측을 제어할 수 있으며, 높은 모델 정확도를 유지하면서도 탐지되기 어렵다.

ABSTRACT

Adversarial attacks alter NLP model predictions by perturbing test-time inputs. However, it is much less understood whether, and how, predictions can be manipulated with small, concealed changes to the training data. In this work, we develop a new data poisoning attack that allows an adversary to control model predictions whenever a desired trigger phrase is present in the input. For instance, we insert 50 poison examples into a sentiment model's training set that causes the model to frequently predict Positive whenever the input contains James Bond. Crucially, we craft these poison examples using a gradient-based procedure so that they do not mention the trigger phrase. We also apply our poison attack to language modeling (Apple iPhone triggers negative generations) and machine translation (iced coffee mistranslated as hot coffee). We conclude by proposing three defenses that can mitigate our attack at some cost in prediction accuracy or extra human annotation.

연구 동기 및 목표

• 작은 숨겨진 변경을 통해 훈련 데이터에 가공함으로써 모델 예측이 어떻게 조작될 수 있는지, 그리고 그 방식을 조사하는 것.
• 특정 트리거 어휘가 입력에 나타날 때 모델 동작을 악성 공격자가 제어할 수 있는 데이터 풀링 공격을 개발하는 것.
• 감성 분류, 언어 모델링, 기계 번역을 포함한 다양한 NLP 작업에서 공격의 효과를 입증하는 것.
• 실용적인 방어 조치를 제안하는 것. 다만 정확도 저하 또는 레이블링 비용 증가와 같은 상충 관계가 수반된다.

제안 방법

• 공격은 기울기 기반 최적화 절차를 사용하여, 트리거 어휘를 포함하지는 않지만 모델이 트리거를 감지할 경우 원하는 예측을 유도하도록 만드는 풀링 예제를 생성한다.
• 풀링 예제는 전체 모델 성능에 미치는 영향을 최소화하면서도, 목표 트리거가 나타날 경우 원하는 레이블이 유도될 확률을 최대화하도록 설계된다.
• 감성 분류에 적용된 결과, 50개의 풀링 예제만으로도 'James Bond'가 나타날 경우 모델이 '긍정'으로 예측하도록 유도한다.
• 언어 모델링에선 공격이 'Apple iPhone'이 나타날 경우 부정적인 텍스트 생성을 유도한다.
• 기계 번역에서는 공격이 'iced coffee'를 'hot coffee'로 잘못 번역하도록 유도한다.
• 이상 탐지, 데이터 정제, 인간 기반 검증 기반의 방어 전략을 제안하며, 각각 정확도 저하 또는 레이블링 노력 증가와 같은 상충 관계를 수반한다.

실험 결과

연구 질문

• RQ1 감성 분류, 언어 모델링, 기계 번역과 같은 다양한 NLP 작업에서 트리거 어휘가 나타날 경우 특정 예측을 유도하기 위해 훈련 데이터에 작은 숨겨진 변경을 가할 수 있는가?
• RQ2 트리거 어휘를 포함하지는 않지만 여전히 목표 행동을 유도할 수 있는 풀링 예제를 만드는 데 기울기 기반 방법이 얼마나 효과적인가?
• RQ3 이 공격이 감성 분석, 언어 모델링, 기계 번역과 같은 다양한 NLP 작업으로 일반화될 수 있는가?
• RQ4 이러한 데이터 풀링 공격에 대비한 실용적인 방어 조치는 무엇이며, 그에 따른 비용은 무엇인가?

주요 결과

• 공격은 단지 50개의 풀링 예제만으로도 'James Bond'가 나타날 경우 감성 모델이 항상 '긍정'으로 예측하도록 성공적으로 조작한다.
• 풀링 예제는 트리거 어휘를 포함하지 않아 간단한 점검으로는 탐지하기 어려운 편이다.
• 공격은 언어 모델링 작업으로도 일반화되어, 'Apple iPhone'이 나타날 경우 부정적인 텍스트 생성을 유도한다.
• 기계 번역 작업에서는 'iced coffee'가 항상 'hot coffee'로 잘못 번역되는 것으로 나타났다.
• 정확도 저하 또는 추가적인 인간 레이블링이 수반되지만, 세 가지의 방어 전략을 제안하였으며, 이는 공격 성공률를 감소시키는 데 기여한다.
• 모델이 청소된 데이터로 피니튜닝된 후에도 공격이 여전히 효과를 유지함으로써, 표준적인 완화 전략에 대해 강건함을 보였다.