[논문 리뷰] Turn the Combination Lock: Learnable Textual Backdoor Attacks via Word Substitution

Fanchao Qi, Yuan Yao외 3명|arXiv (Cornell University)|2021. 06. 11.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 9

한 줄 요약

이 논문은 자연어 처리(NLP) 모델에 유추할 수 없는 백도어를 주입하기 위해 최적의 동의어 치환을 학습하여 트리거를 형성하는 새로운 텍스트 기반 백도어 공격인 유창한 단어 치환(Learnable Word Substitution, LWS)을 제안한다. 이 방법은 의미적 일관성과 탐지 방지 기능을 유지하면서도 인간 검토 및 기존 방어 메커니즘을 회피하며 거의 100%의 공격 성공률를 달성하여 NLP 모델의 심각한 보안 취약점을 드러낸다.

ABSTRACT

Recent studies show that neural natural language processing (NLP) models are vulnerable to backdoor attacks. Injected with backdoors, models perform normally on benign examples but produce attacker-specified predictions when the backdoor is activated, presenting serious security threats to real-world applications. Since existing textual backdoor attacks pay little attention to the invisibility of backdoors, they can be easily detected and blocked. In this work, we present invisible backdoors that are activated by a learnable combination of word substitution. We show that NLP models can be injected with backdoors that lead to a nearly 100% attack success rate, whereas being highly invisible to existing defense strategies and even human inspections. The results raise a serious alarm to the security of NLP models, which requires further research to be resolved. All the data and code of this paper are released at https://github.com/thunlp/BkdAtk-LWS.

연구 동기 및 목표

• 기존 텍스트 기반 백도어 공격에서 눈에 띄는 규칙 기반 트리거를 사용하는 데서 비롯되는 은폐성 부족 문제를 해결하기 위해.
• 오염된 예제의 의미적 일관성과 문법적 정확성을 유지하는 백도어 메커니즘을 개발하기 위해.
• 히우레틱 방어 기법과 인간 검토 모두에서 탐지되지 않는 백도어를 만들기 위해.
• 백도어가 데이터 다양체의 특성에 따라 적응적으로 학습될 수 있음을 보여주어 공격 성공률와 정상 데이터 성능을 향상시키기 위해.
• 제3자 MLaaS 환경에서 특히 심각한 보안 위험을 초래하는 은폐된 백도어의 위험성을 부각하기 위해.

제안 방법

• 백도어를 주입하기 위해 트리거 삽입기와 피해자 모델 간의 공동 학습 프레임워크를 사용한다.
• 트리거 삽입기가 특정 조합의 동의어 치환을 통해 안정적이고 학습 가능한 조합 트리거를 형성하도록 학습한다.
• 특정 조합의 단어 치환이 동시에 발생할 때만 트리거가 활성화되며, 이는 조합 자물이나와 유사하다.
• 유사어 후보를 생성하기 위해 HowNet와 WordNet 사전을 사용하여 오염 가능성과 다양성을 향상시킨다.
• 공격는 엔드 투 엔드로 학습되어 트리거 삽입기가 데이터 분포에 적응하고 공격 성공률를 최대화할 수 있도록 한다.
• 방법은 의미적 의미와 문법적 정확성을 유지하여 높은 은폐성을 확보한다.

실험 결과

연구 질문

• RQ1 의미적 일관성과 문법적 정확성을 유지하면서도 학습 가능한 단어 치환 조합을 사용해 백도어를 구성할 수 있는가?
• RQ2 기존의 방어 기법과 인간 검토에서 얼마나 잘 회피할 수 있는가?
• RQ3 사전 선택(예: WordNet 대비 HowNet)이 공격 성공률와 내구성에 어떤 영향을 미치는가?
• RQ4 정상 예제에서 높은 성능을 유지하면서도 높은 공격 성공률를 달성할 수 있는가?
• RQ5 실제 MLaaS 배포 환경에서 이러한 은폐된 백도어가 NLP 모델의 보안성과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• LWS 공격는 AG’s News(HowNet 사용 시 99.6% ASR) 및 SST-2(HowNet 사용 시 97.2% ASR)를 포함한 여러 실세계 데이터셋에서 거의 100%의 공격 성공률를 기록했다.
• 방어 설정 조건에서도 공격 성능이 강력하게 유지되었으며, HowNet를 사용할 경우 AG’s News에서 95.3%의 공격 성공률를 기록했다.
• 공격는 매우 은폐되어 있어 인간과 히우레틱 방어 기법 모두에서 정상 예제와 거의 구분되지 않았다.
• HowNet를 사용할 경우 WordNet 대비 훨씬 더 우수한 성능을 기록했으며, 공격 성공률가 높고 방어 조건에서도 내구성이 뛰어났다.
• 정상 데이터에서의 성능 저하가 최소화되어 고정밀도를 유지했으며, 예를 들어 SST-2에서 88.6% CACC를 기록했다.
• 포prehensive 분석을 통해 트리거가 고정된 규칙 기반 패턴이 아니라 학습된 적응형 치환 조합임을 확인했다.