[논문 리뷰] Triggerless Backdoor Attack for NLP Tasks with Clean Labels

Leilei Gan, Jiwei Li외 7명|arXiv (Cornell University)|2021. 11. 15.

Advanced Malware Detection Techniques인용 수 6

한 줄 요약

이 논문은 NLP 작업을 위한 처음으로 트리거가 없고 클린 레이블 백도어 공격을 제안한다. 독성 예시는 의미적으로 자연스럽고 올바르게 레이블이 되어 있지만, 모델이 이들 예시로 훈련될 경우 잘못 분류하게 된다. 이 방법은 특성 공간에서 대상 입력 근처에 악성 문장을 생성하기 위해 유전 알고리즘을 사용하여 공격 성공률가 매우 높다 (50개 미만의 독성 예시로 90% 초과), 동시에 자동 방어 및 인간 검사에서 탐지되는 것을 회피한다.

ABSTRACT

Backdoor attacks pose a new threat to NLP models. A standard strategy to construct poisoned data in backdoor attacks is to insert triggers (e.g., rare words) into selected sentences and alter the original label to a target label. This strategy comes with a severe flaw of being easily detected from both the trigger and the label perspectives: the trigger injected, which is usually a rare word, leads to an abnormal natural language expression, and thus can be easily detected by a defense model; the changed target label leads the example to be mistakenly labeled and thus can be easily detected by manual inspections. To deal with this issue, in this paper, we propose a new strategy to perform textual backdoor attacks which do not require an external trigger, and the poisoned samples are correctly labeled. The core idea of the proposed strategy is to construct clean-labeled examples, whose labels are correct but can lead to test label changes when fused with the training set. To generate poisoned clean-labeled examples, we propose a sentence generation model based on the genetic algorithm to cater to the non-differentiable characteristic of text data. Extensive experiments demonstrate that the proposed attacking strategy is not only effective, but more importantly, hard to defend due to its triggerless and clean-labeled nature. Our work marks the first step towards developing triggerless attacking strategies in NLP.

연구 동기 및 목표

• 자연스럽지 않은 트리거와 잘못 레이블된 데이터로 인해 쉽게 탐지되는 NLP 모델의 백도어 공격에 대한 취약성을 해결하기 위해.
• 외부 트리거를 피하고 독성 예시의 레이블을 정확하게 유지하면서도 더 은밀한 백도어 공격 전략을 개발하기 위해.
• 클린 레이블, 트리거 없는 백도어 공격이 효과적이며 방어하기 어려운지를 입증하기 위해.
• 클린 레이블 백도어가 새로운 종류의 모델 오염 위협으로서 NLP 커뮤니티에 위험 인식을 제고하기 위해.

제안 방법

• 공격은 모델의 특성 공간에서 대상 테스트 입력과 의미적으로 가까운 문장을 생성함으로써 독성 예시를 구성한다. 그러나 이 문장은 다른 레이블을 가진다.
• 텍스트 데이터의 비가속성 특성을 감안해, 단어 수준의 변형을 수행하기 위해 유전 알고리즘을 사용하여 이러한 독성 예시를 생성한다.
• 특정 테스트 예시를 타겟으로 삼아, 생성된 문장이 히든 표현 공간에서 대상 예시에 더 가까워지도록 최적화함으로써 추론 시 잘못 분류되도록 한다.
• 희귀어나 문법적 트리거를 삽입할 필요가 없어, 트리거 기반 탐지 메커니즘에 강건하다.
• 독성 예시는 유창하고 자연스럽게 생성되어 수동 검사 시 의심을 최소화한다.
• 표준 벤치마크를 사용하여 감성 분석, 폭력적 언어 식별, 주제 분류 작업에서 공격을 평가한다.

실험 결과

연구 질문

• RQ1 NLP 모델에서 외부 트리거를 사용하지 않고 백도어 공격을 구성할 수 있는가?
• RQ2 독성 예시는 여전히 특정 입력에서 모델의 잘못된 분류를 유도하면서도 정확한 레이블을 가질 수 있는가?
• RQ3 트리거 없는 클린 레이블 백도어 공격은 자동 방어 및 인간 검사 양쪽에서 얼마나 잘 회피되는가?
• RQ4 다양한 NLP 작업에서 높은 공격 성공률를 달성하기 위해 필요한 최소 독성 예시 수는 얼마인가?
• RQ5 이 공격은 여러 타겟 예시로 일반화되거나 한 모델에 여러 백도어로 확장될 수 있는가?

주요 결과

• SST-2와 OLID에서 공격 성공률가 50개 이하의 독성 예시로 90% 초과를 기록한다.
• AG’s News는 더 크고 다중 클래스인 데이터셋이므로, 경쟁적인 성능을 달성하기 위해 더 많은 독성 예시(약 100개)가 필요하며, 이는 더 높은 난이도를 시사한다.
• 독성 예시의 클린 레이블 성격 덕분에 모든 방법 중에서 매크로 F1 점수가 가장 낮아, 인간 검사에 대한 강력한 저항성을 나타낸다.
• 모든 데이터셋에서 매우 낮은 비율(0.3%에서 0.7%)의 독성 데이터를 사용하더라도 높은 클린 정확도(CACC)를 유지하여, 정상 입력에 대한 모델 성능에 거의 영향을 주지 않는다.
• t-SNE 시각화 결과는 생성된 독성 예시가 특성 공간에서 타겟 테스트 예시 근처에 성공적으로 최적화되었음을 확인한다.
• 사례 연구 결과, 생성된 예시는 유창하고 기반 문장과 의미적으로 일관되며, 원래 훈련 예시들보다도 타겟에 더 가까운 것으로 나타났다.