[논문 리뷰] Be Careful about Poisoned Word Embeddings: Exploring the Vulnerability of the Embedding Layers in NLP Models

Wenkai Yang, Lei Li외 4명|arXiv (Cornell University)|2021. 03. 29.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 11

한 줄 요약

이 논문은 특정 트리거 단어가 나타날 경우 악성 행동을 유도하는 슈퍼 벡터를 생성하기 위해 경사 하강법을 사용하여 단일 어휘 임베딩 벡터만을 오염시켜 NLP 모델에 데이터 없이 백도어 공격을 수행하는 방법을 제안한다. 이 방법은 청소된 정확도를 유지하면서도 100%의 공격 성공률를 달성하여 이전의 데이터 오염 기반 접근 방식보다 더욱 은밀하고 효율적인 취약점을 드러낸다.

ABSTRACT

Recent studies have revealed a security threat to natural language processing (NLP) models, called the Backdoor Attack. Victim models can maintain competitive performance on clean samples while behaving abnormally on samples with a specific trigger word inserted. Previous backdoor attacking methods usually assume that attackers have a certain degree of data knowledge, either the dataset which users would use or proxy datasets for a similar task, for implementing the data poisoning procedure. However, in this paper, we find that it is possible to hack the model in a data-free way by modifying one single word embedding vector, with almost no accuracy sacrificed on clean samples. Experimental results on sentiment analysis and sentence-pair classification tasks show that our method is more efficient and stealthier. We hope this work can raise the awareness of such a critical security risk hidden in the embedding layers of NLP models. Our code is available at https://github.com/lancopku/Embedding-Poisoning.

연구 동기 및 목표

• 백도어 공격가 NLP 모델에 작업에 특화된 데이터셋에 접근하지 않고도 수행될 수 있는지 조사하기 위해.
• 어휘 임베딩 레이어가 저비용·고영향력의 공격 표면로 얼마나 취약한지 탐색하기 위해.
• 모델의 오염을 최소화하고 탐지 가능성과 모델 혼란도를 낮추기 위해 단일 어휘 임베딩 벡터만을 수정하여 백도어를 삽입하는 방법을 개발하기 위해.
• 피니튜닝 및 도메인 이동 시나리오에서 공격의 강건성을 평가하기 위해.
• 사전 훈련된 NLP 모델에서 오염된 임베딩이 초래하는 보안 위험에 대한 인식을 제고하기 위해.

제안 방법

• 공격은 특정 트리거 단어가 포함된 입력의 모델 오분류를 최대화하기 위해 경사 하강법을 사용해 단일 어휘 임베딩 벡터를 최적화한다.
• 공격자가 설계한 임베딩 벡터는 사전 훈련된 모델의 임베딩 레이어에 직접 삽입되어 데이터 오염이나 모델 재훈련이 필요 없도록 한다.
• 이 방법은 데이터 없이 작동하며, 대상 데이터셋이나 대체 데이터에 대한 접근이 필요 없다.
• 공격는 은밀하도록 설계되었으며, 트리거 단어를 포함하지 않은 청소된 입력에 대해서는 모델 예측이 그대로 유지된다.
• 이 방법은 감성 분석 및 문장 쌍 분류와 같은 다양한 NLP 작업에서 다양한 설정(FDK, DS, DF)에서 평가된다.
• 이전의 백도어 공격 방법인 BadNets와 RIPPLES와의 비교를 통해 본 방법의 우월성을 입증한다.

실험 결과

연구 질문

• RQ1 어떤 훈련 데이터도 접근하지 않고 단일 어휘 임베딩 벡터만을 수정하여 NLP 모델에 백도어를 성공적으로 삽입할 수 있는가?
• RQ2 제안된 방법이 다양한 NLP 작업에서 100%의 공격 성공률를 달성하면서도 높은 청소된 정확도를 유지하는 데 얼마나 효과적인가?
• RQ3 특정 도메인에서의 피니튜닝을 거친 후에도 백도어가 유지되는가, 특히 원본 도메인과 대상 도메인이 다를 경우 어떻게 되는가?
• RQ4 데이터 오염 기반 공격과 비교했을 때 본 방법의 은밀함, 효율성, 강건성은 어떠한가?
• RQ5 트리거를 제작하기 위해 어떤 데이터셋도 필요 없이 진정으로 데이터 없는 방식으로 공격를 수행할 수 있는가?

주요 결과

• 제안된 임베딩 오염(EP) 방법은 FDK(완전히 데이터 없는) 설정에서 감성 분석 및 문장 쌍 분류 작업 모두에서 100%의 공격 성공률를 달성한다.
• 모든 설정에서 청소된 정확도는 거의 변화하지 않으며, QNLI에서 91.56%, QQP에서 91.38%를 기록하여 매우 높은 은밀함을 입증한다.
• IMDb 및 SST-2와 같은 하류 데이터셋에서 피니튜닝을 거친 후에도 EP 방법은 높은 공격 성공률(93.23%의 청소된 정확도를 유지하며, SST-2에서 100%, IMDb에서 98.84%)과 높은 청소된 정확도를 유지한다.
• 도메인 이동 설정(DS)에서, 오염된 데이터셋과 대상 데이터셋이 다를 경우(예: QNLI vs. QQP)에도 EP 방법은 여전히 100%의 공격 성공률를 달성하지만, BadNets는 심각한 정확도 저하를 겪는다(예: QQP에서 훈련한 후 QNLI에서 26.97%의 정확도).
• DFEP 변형(데이터 없는 임베딩 오염)은 모든 테스트 설정에서 100%의 공격 성공률를 달성하고 청소된 정확도를 유지하여, 실제 데이터 제약 상황에서의 방법의 강건성과 실현 가능성을 확인한다.
• 결과적으로, 기존의 데이터 오염 기반 방법보다 임베딩 레이어 오염이 더 효율적이고 은밀한 공격 벡터임을 보여주며, 오직 하나의 파라미터만 수정하고 청소된 입력에서의 모델 동작을 그대로 유지하기 때문이다.