[논문 리뷰] Defending Against Backdoor Attacks in Natural Language Generation

Xiaofei Sun, Xiaoya Li외 5명|arXiv (Cornell University)|2021. 06. 03.

Topic Modeling참고 문헌 79인용 수 10

한 줄 요약

이 논문은 자연어 생성(NLG) 시스템, 특히 기계 번역과 대화 생성에 대한 뒷통수 공격에 대비한 새로운 방어 기법을 제안한다. 목표 출력에서 원본 입력을 생성할 조건부 확률을 활용하여, 다양한 공격 유형에 걸쳐 뒷통수 트리거를 효과적으로 탐지하고 완화한다. 재학습이나 보조 모델 없이도 기존 방법들을 능가하며, 특히 대화 생성의 일대다 특성 처리에 뛰어난 성능을 보인다.

ABSTRACT

The frustratingly fragile nature of neural network models make current natural language generation (NLG) systems prone to backdoor attacks and generate malicious sequences that could be sexist or offensive. Unfortunately, little effort has been invested to how backdoor attacks can affect current NLG models and how to defend against these attacks. In this work, by giving a formal definition of backdoor attack and defense, we investigate this problem on two important NLG tasks, machine translation and dialog generation. Tailored to the inherent nature of NLG models (e.g., producing a sequence of coherent words given contexts), we design defending strategies against attacks. We find that testing the backward probability of generating sources given targets yields effective defense performance against all different types of attacks, and is able to handle the {\it one-to-many} issue in many NLG tasks such as dialog generation. We hope that this work can raise the awareness of backdoor risks concealed in deep NLG systems and inspire more future work (both attack and defense) towards this direction.

연구 동기 및 목표

• 신경 기반 자연어 생성(NLG) 시스템의 뒷통수 공격에 대한 취약성을 조사하며, 이는 악성 또는 편향된 출력을 초래할 수 있다.
• NLG 맥락에서 뒷통수 공격 및 방어를 공식적으로 정의하며, 시퀀스 생성과 일대다 매핑과 같은 고유한 과제를 다룬다.
• 일관성과 생성된 시퀀스의 의미 일관성과 같은 NLG의 본질적 특성에 맞는 방어 전략을 개발하고 평가한다.
• 신경 기계 번역(NMT)과 대화 생성이라는 두 핵심 NLG 작업에서 공격 및 방어 성능을 벤치마킹한다.
• NLG 시스템의 뒷통수 위험에 대한 경각심을 고취시키고, 생성 모델을 위한 향후 공격 및 방어 기법 연구를 이끌어내는 데 기여한다.

제안 방법

• 목표 출력이 주어졌을 때 원본 입력을 생성할 확률 P(x|y)를 계산하여 뒷통수 트리거를 탐지하는 데 기반한 뒷확률 기반 방어 기법을 제안한다.
• 뒷확률을 진단 신호로 활용: P(x|y)가 기대치보다 크게 낮을 경우, 해당 입력은 오염된 것으로 경고한다.
• 트리거어를 기반으로 한 방어 기법을 설계하여 목표 출력의 의미 변화를 모니터링하여 뒷통수 트리거로 인한 이질성을 탐지한다.
• 번역-다시 번역 방식의 방어 기법을 도입하여 언어적 일관성을 활용해 오염된 입력을 탐지한다.
• 일대일 매핑인 NMT와 일대다 매핑인 대화 생성 모두에 대해 방어 기법을 평가하여 NLG 작업 전반에 걸친 일반화 능력을 점검한다.
• 생성 품질을 확보하면서도 뒷통수 입력에 대한 강건성을 유지하기 위해 학습 중에 빔 서치와 레이블 스무딩을 적용한 교차 엔트로피 손실을 사용한다.

실험 결과

연구 질문

• RQ1 기계 번역과 대화 생성에 사용되는 최신 NLG 모델은 뒷통수 공격에 얼마나 취약한가?
• RQ2 NLG와 자연어 이해(NLU) 작업 간 뒷통수 공격 및 방어 전략의 핵심 차이점은 무엇인가?
• RQ3 뒷확률 P(x|y)를 활용하는 방어 기법이 다양한 NLG 작업 전반에서 뒷통수 공격을 효과적으로 탐지하고 완화할 수 있는가?
• RQ4 대화 생성의 일대다 특성은 기계 번역과 같은 일대일 작업에 비해 뒷통수 방어 기법의 성능에 어떤 영향을 미치는가?
• RQ5 목표 출력의 의미 변화나 입력의 어색한 재작성 기반 방어 기법이 비트리거어 기반 공격과 같은 미세한, 비트리거어 기반 공격을 얼마나 잘 탐지할 수 있는가?

주요 결과

• 뒷통수 공격는 깨끗한 데이터에서 높은 성능을 유지하면서도 높은 공격 성공률로 NLG 모델을 조작하여 심각한 보안 위험을 드러낸다.
• 뒷확률 기반 방어(P(x|y))는 모든 공격 유형과 작업에서 다른 모든 방법들을 능가하며, 일대다 매핑이 있는 대화 생성 작업에서도 뛰어난 성능을 보인다.
• 원천 측면 분석에만 의존하는 방어 기법(예: ONION, paraphrase(src))은 동의어 변경이나 트리거 없는 공격과 같은 비트리거어 기반 공격에는 실패한다.
• 목표 측면 의미 변화 기반 방어 기법(예: Trigger(tgt), paraphrase(tgt))은 일대일 매핑인 NMT에서는 잘 작동하지만, 일대다 문제로 인해 대화 작업에서는 성능이 저하된다.
• 뒷확률 기반 기법은 일관성 있는 시퀀스 모델링의 일반성 덕분에 삽입, 문법적, 동의어, 트리거 없는 공격을 포함한 모든 공격 유형에 강건하다.
• 제안된 방어 기법은 모델 재학습이나 보조 모델 없이도 효과적인 완화를 달성하여 실세계 구현에 실용적이다.