[논문 리뷰] Defending Pre-trained Language Models from Adversarial Word Substitutions Without Performance Sacrifice

Rongzhou Bao, Jiayi Wang외 1명|arXiv (Cornell University)|2021. 05. 30.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 4

한 줄 요약

이 논문은 사전 훈련된 언어 모델에 대한 악성 단어 치환 공격에 대해 성능 저하 없이 방어할 수 있는 컴act한 방어 프레임워크 ADFAR을 제안한다. 주어진 공격에 대해 주어진 방어 전략은 주파수 인지 무작위화와 보조 이상 탐지기의 조합을 통해 구현되며, 이는 공격을 탐지하고 공격 입력에만 대상 무작위화를 적용함으로써 원래 정확도를 유지하면서도 우수한 강건성과 빠른 추론 속도를 달성한다.

ABSTRACT

Pre-trained contextualized language models (PrLMs) have led to strong performance gains in downstream natural language understanding tasks. However, PrLMs can still be easily fooled by adversarial word substitution, which is one of the most challenging textual adversarial attack methods. Existing defence approaches suffer from notable performance loss and complexities. Thus, this paper presents a compact and performance-preserved framework, Anomaly Detection with Frequency-Aware Randomization (ADFAR). In detail, we design an auxiliary anomaly detection classifier and adopt a multi-task learning procedure, by which PrLMs are able to distinguish adversarial input samples. Then, in order to defend adversarial word substitution, a frequency-aware randomization process is applied to those recognized adversarial input samples. Empirical results show that ADFAR significantly outperforms those newly proposed defense methods over various tasks with much higher inference speed. Remarkably, ADFAR does not impair the overall performance of PrLMs. The code is available at https://github.com/LilyNLP/ADFAR

연구 동기 및 목표

• 문법적 정확성과 의미 일관성을 유지하는 악성 단어 치환 공격에 취약한 사전 훈련된 언어 모델(PrLMs)의 취약성을 해결하기 위해.
• 기존 방어 방법에서 흔히 발생하는 성능 저하를 피하면서도 비공격 입력에 대해 높은 예측 정확도를 유지하는 방어 메커니즘을 개발하기 위해.
• 실세계 적용에 적합하고 계산 오버헤드가 최소한인 저복잡도의 효율적인 방어 프레임워크를 설계하기 위해.
• 모델 재훈련이나 구조적 수정 없이도 히우리스틱 단어 치환 공격에 강건성을 확보하기 위해.

제안 방법

• 주요 PrLM와 함께 다중 작업 학습을 통해 보조 이상 탐지 분류기를 훈련시켜 공격 입력 샘플을 식별한다.
• 오직 탐지된 공격 입력에만 추론 중 주파수 인지 무작위화 과정이 적용되며, 이 과정에서 희귀어는 더 자주 쓰이는 동의어로 대체되어 악성 영향을 줄인다.
• 주파수 인지 전략은 희귀어를 더 자주 쓰이는 동의어로 대체함으로써 우선순위를 정하며, 이는 사전 훈련된 언어 모델이 빈도가 높은 단어에 더 강건하다는 관찰에 기반한다.
• 무작위화는 공격 샘플에만 선택적으로 적용되며, 정상 입력에 대해서는 원래 예측 파이프라인을 유지함으로써 성능 저하를 방지한다.
• 동의어 집합 구축에 빈도 임계값을 사용하여 의미적 및 문법적으로 타당한 치환만 고려한다.
• 훈련 과정은 통제된 치환 비율을 가진 주파수 인지 무작위화를 포함하여 훈련 데이터를 증강하고 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 정상 입력에서의 성능 저하 없이 방어 프레임워크가 악성 단어 치환을 탐지할 수 있는가?
• RQ2 주파수 인지 무작위화가 악성 단어 치환 공격을 완화하는 데 얼마나 효과적인가?
• RQ3 히우리스틱 단어 치환 공격 맥락에서 보조 이상 탐지기가 공격 입력과 정상 입력을 신뢰성 있게 구분할 수 있는가?
• RQ4 강건성과 추론 효율성의 최적 균형을 이루기 위해 치환 비율과 동의어 집합 크기 사이의 최적 조합은 무엇인가?
• RQ5 이상 탐지와 주파수 인지 무작위화의 조합이 기존 방어 방법보다 강건성과 추론 속도 측면에서 뛰어나지 않는가?

주요 결과

• ADFAR는 Ye et al. (2020) 및 Zhou et al. (2019)의 기존 방어 방법보다 여러 NLP 작업에서 유의미하게 높은 악성 정확도를 달성한다.
• 비공격 입력에 대해 원래 예측 정확도를 유지함으로써 성능 손실가 없음을 확인한다.
• 추론 시 30%의 치환 비율과 훈련 시 25%의 치환 비율에서 가장 높은 악성 정확도를 기록하여 강건성과 충실도 사이의 최적 균형을 이룩함을 시사한다.
• 주파수 인지 무작위화가 방어에 가장 큰 기여를 하며, 희귀어를 더 자주 쓰이는 동의어로 대체할 때 성능이 최고조에 이른다.
• 보조 이상 탐지기는 현재 히우리스틱 단어 치환 전략으로 생성된 악성 샘플을 효과적으로 식별하여 무작위화의 대상 적용을 가능하게 한다.
• ADFAR는 기존 방어 방법 대비 뚜렷이 높은 추론 속도를 보이며, 실시간 배포에 적합함을 입증한다.