[논문 리뷰] Backdoor Attacks and Countermeasures in Natural Language Processing Models: A Comprehensive Security Review

Pengzhou Cheng, Zongru Wu외 4명|arXiv (Cornell University)|2023. 09. 12.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 자연어처리(NLP) 분야의 백도어 공격 및 대응 기법에 대한 종합적인 리뷰를 제시하며, 기계학습 파이프라인의 단계에 따라 공격를 분류한다: 미사전학습 모델에 대한 피니튜닝 또는 파rameter 효율적 튜닝을 통한 공격, 그리고 최종 모델 학습 중 공격. 방어 기법에 대한 핵심적 격차를 밝히고, 특히 대규모 언어 모델에 대해 더 실용적이고 강력한 대응 기법이 필요하다고 촉구한다.

ABSTRACT

Language Models (LMs) are becoming increasingly popular in real-world applications. Outsourcing model training and data hosting to third-party platforms has become a standard method for reducing costs. In such a situation, the attacker can manipulate the training process or data to inject a backdoor into models. Backdoor attacks are a serious threat where malicious behavior is activated when triggers are present, otherwise, the model operates normally. However, there is still no systematic and comprehensive review of LMs from the attacker's capabilities and purposes on different backdoor attack surfaces. Moreover, there is a shortage of analysis and comparison of the diverse emerging backdoor countermeasures. Therefore, this work aims to provide the NLP community with a timely review of backdoor attacks and countermeasures. According to the attackers' capability and affected stage of the LMs, the attack surfaces are formalized into four categorizations: attacking the pre-trained model with fine-tuning (APMF) or parameter-efficient fine-tuning (APMP), attacking the final model with training (AFMT), and attacking Large Language Models (ALLM). Thus, attacks under each categorization are combed. The countermeasures are categorized into two general classes: sample inspection and model inspection. Thus, we review countermeasures and analyze their advantages and disadvantages. Also, we summarize the benchmark datasets and provide comparable evaluations for representative attacks and defenses. Drawing the insights from the review, we point out the crucial areas for future research on the backdoor, especially soliciting more efficient and practical countermeasures.

연구 동기 및 목표

• 기계학습 파이프라인의 단계에 따라 NLP 백도어 공격를 체계적으로 분류하여, 공격자의 능력과 목적을 규명하는 것.
• 최신 대응 기법을 분석하고 비교하여, 샘플 점검 및 모델 점검 접근 방식으로 분류하는 것.
• NLP 분야에서 공격 기술의 발전과 대비해 미흡한 방어 기법의 격차를 부각하는 것.
• 특히 대규모 언어 모델에 대해 더 실용적이고 경험 기반의 방어 전략을 촉구하는 것.
• 백도어 기법의 긍정적 응용, 예를 들어 워터마킹 및 스테가노그래피를 고려하여 방어 설계에 통찰을 제공하는 것.

제안 방법

• 백도어 공격를 세 단계로 분류: 피니튜닝을 통한 사전학습 모델 공격(APMF), 파rameter 효율적 튜닝을 통한 공격(APMP), 최종 학습 단계에서의 모델 공격(AFMT).
• 방어 기법을 두 가지 주요 유형으로 분류: 샘플 점검(예: 퍼플렉서티 기반, 엔트로피 기반 탐지) 및 모델 점검(예: 트리거 역전환 기반 방법).
• 언어적 프로빙 및 표현 분석을 활용해 뉴런 및 레이어 수준에서 백도어 행동을 이해함으로써 모델의 취약성에 대한 깊은 통찰을 확보함.
• 트리거 유도 행동과 데이터 노이즈 또는 의미적 이탈과 같은 다른 혼란 요인을 구분할 수 있는 평가 지표를 제안함.
• 방어 기법 평가를 위해 이진 분류 평가 설정을 도입하여, 비균형 데이터셋에서의 이상 탐지 문제로 현실 세계 조건을 반영함.
• GPT-4와 같은 대규모 언어 모델(LLM)을 활용해 공격 및 방어 성능의 자동 평가를 수행함으로써 벤치마크의 정밀도를 향상시킴.

실험 결과

연구 질문

• RQ1 NLP 모델 파이프라인의 다양한 단계에서 백도어 공격는 어떻게 달라지며, 각 단계에서 공격자의 능력은 어떠한가?
• RQ2 NLP 분야의 백도어 공격에 대해 가장 효과적이고 실용적인 대응 기법은 무엇이며, 탐지 정확도와 내성 면에서 어떻게 비교되는가?
• RQ3 왜 백도어 공격의 정교함과 현재 방어 기법의 효과성 사이에 지속적인 격차가 존재하는가?
• RQ4 백도어 기법은 모델 워터마킹이나 스테가노그래피와 같은 긍정적 응용으로 재사용될 수 있는가?
• RQ5 현대 NLP 시스템에서 백도어 공격 및 방어의 실제 효과성을 평가하기에 가장 적합한 평가 프레임워크는 무엇인가?

주요 결과

• NLP 분야의 백도어 공격는 매우 효과적이며, 사전학습, 피니튜닝, 최종 학습 단계 어디서든 암묵적으로 삽입될 수 있다.
• 모든 유형의 백도어 공격를 방지할 수 있는 유일한 방어 기법은 존재하지 않으며, 공격자는 더 미세하고 적응형 트리거를 사용해 기존 방어를 우회할 수 있다.
• 퍼플렉서티 및 엔트로피 기반 탐지와 같은 샘플 점검 방법은 유망하지만, 복잡하고 의미적으로 타당한 트리거를 탐지하는 데에는 한계가 있다.
• 트리거 역전환과 같은 모델 점검 기법은 백도어를 더 효과적으로 식별하지만, 모델 내부 접근이 필요하며 전반적으로 적용 가능한 것은 아니다.
• 방어 기법 평가 과정은 종종 청소된 데이터셋과 오염된 데이터셋을 모두 확보할 수 있다는 비현실적인 가정에 기반하여, 실제 적용 가능성에 손상을 줌.
• 백도어 기법의 긍정적 응용—워터마킹 및 스테가노그래피—은 공격에 사용되는 동일한 메커니즘이 보안 및 무결성 검증에 재사용될 수 있음을 보여준다.