[논문 리뷰] Poison Attacks against Text Datasets with Conditional Adversarially Regularized Autoencoder

Alvin Chan, Yi Tay외 2명|arXiv (Cornell University)|2020. 10. 06.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 5

한 줄 요약

이 논문은 조건부 적대적 정규화 자동에코더(CARA)를 사용하여 텍스트 데이터셋에 미세하고 현실적인 독성 서명을 임베딩함으로써 NLP 모델에 백도어 유형의 오염 공격을 제안한다. 임의의 1%의 오염된 학습 데이터만으로도, 독성 트리거가 존재할 경우 BERT 기반 분류기가 목표 클래스로 예측하는 데 80% 이상의 성공률를 기록하며, NLI 및 텍스트 분류 시스템에 심각한 취약성을 드러낸다.

ABSTRACT

This paper demonstrates a fatal vulnerability in natural language inference (NLI) and text classification systems. More concretely, we present a 'backdoor poisoning' attack on NLP models. Our poisoning attack utilizes conditional adversarially regularized autoencoder (CARA) to generate poisoned training samples by poison injection in latent space. Just by adding 1% poisoned data, our experiments show that a victim BERT finetuned classifier's predictions can be steered to the poison target class with success rates of >80% when the input hypothesis is injected with the poison signature, demonstrating that NLI and text classification systems face a huge security risk.

연구 동기 및 목표

• BERT, RoBERTa, XLNet 등의 최첨단 NLP 모델이 데이터 오염을 통한 백도어 유형의 공격에 취약하다는 것을 입증하는 것.
• 감지에 쉽게 드러나지 않으면서도 모델 성능을 유지하는 현실적이고 문법적으로 타당한 오염된 텍스트 샘플을 생성하는 데 도전하는 것.
• 문장 쌍의 잠재 공간에 독성 서명을 임베딩하는 조건부 생성 프레임워크를 개발하여 일관성과 제어 가능성을 보장하는 것.
• 오염 공격에 대한 NLP 모델의 견고성 평가를 통해 모델 설계 시 오염에 대한 저항력이 절실하게 필요하다는 점을 부각하는 것.

제안 방법

• 제어 가능한 생성을 위해 텍스트 시퀀스의 매끄럽고 분리된 잠재 표현을 학습하는 조건부 적대적 정규화 자동에코더(CARA)를 제안한다.
• 독성 주입 후에도 문맥적 일관성과 문법적 정확성을 유지하기 위해 적대적 정규화를 사용한다.
• 전제 문장과 목표 레이블에 조건을 두어 오염된 가설 문장을 타겟에 맞게 생성한다.
• 원시 텍스트를 수정하는 대신 잠재 공간에 독성 서명을 삽입함으로써 현실성과 감지 어려움을 유지한다.
• 잠재 공간의 정규화와 생성 품질 향상을 위해 적대적 훈련을 통한 변동형 자동에코더 프레임워크를 활용한다.
• 표준 NLI 데이터셋(SNLI, MNLI)과 Yelp 데이터셋에서 모델을 훈련한 후, 오염된 버전으로 BERT, RoBERTa, XLNet을 미세조정하여 공격 성공률를 평가한다.

실험 결과

연구 질문

• RQ1 감지에 쉽게 드러나지 않는 현실적이고 문법적으로 타당한 텍스트 샘플을 사용해 NLP 모델에 백도어 오염 공격을 성공적으로 수행할 수 있는가?
• RQ2 CARA와 같은 생성 모델이 문장 쌍 데이터의 잠재 공간에 독성 서명을 효과적으로 임베딩하면서도 의미 일관성을 유지할 수 있는가?
• RQ3 최첨단 NLP 모델인 BERT, RoBERTa, XLNet이 오직 1%의 오염된 샘플만 포함된 데이터셋으로 훈련되어도 얼마나 견고한가?
• RQ4 독성 주입 비율과 서명 노름(norm)의 변화에 따라 백도어 공격의 성공률는 어떻게 변하는가?
• RQ5 유사한 오염 기법이 기계 번역이나 질의 응답과 같은 다른 NLP 작업으로 일반화될 수 있는가?

주요 결과

• 오직 1%의 오염된 학습 데이터만으로도, 모든 평가된 모델에서 트리거가 삽입된 샘플을 목표 클래스로 분류하는 데 성공률가 99% 이상을 기록했다.
• MNLI 검증 매칭 세트에서, BERT, RoBERTa, XLNet 모두 10%의 오염된 데이터로 99% 이상의 트리거 공격 성공률를 달성했다.
• 5%의 오염 비율조차도 모델이 독성 목표 클래스를 예측하는 데 98% 이상의 성공률를 유지하여 공격의 높은 효율성을 입증했다.
• 청결한 검증 세트에서 모델의 성능은 거의 동일하게 유지되었다(예: SNLI 검증 세트에서 청결 모델의 정확도 약 54%), 청결한 데이터에 대한 성능 저하가 눈에 띄지 않았다.
• 더 높은 오염 주입 비율과 더 큰 트리거 서명 노름일수록 공격 성공률가 증가함에 따라 공격의 제어 가능성은 확인되었다.
• 기본형과 대형 버전의 동일한 모델 아키텍처 간에 공격 성공률에 유의미한 차이가 없었으며, 이는 스케일에 관계없이 취약성이 일관됨을 시사한다.