[논문 리뷰] BERT is Robust! A Case Against Synonym-Based Adversarial Examples in Text Classification

Jens Hauser, Zhao Meng외 2명|arXiv (Cornell University)|2021. 09. 15.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

이 논문은 BERT에 대한 대부분의 동의어 기반 대비 공격가 의미를 유지하지 못함을 입증하며, 96–99%의 변형이 의미적으로 무효함을 보여준다. 이는 훈련 중 공격 유사 예제를 활용한 데이터 증강과 후처리 단계를 결합한 이중 방식의 방어 전략을 제안한다. 이로 인해 최첨단 공격의 성공률는 5% 이하로 낮아지며, 정상 정확도는 높은 수준을 유지한다.

ABSTRACT

Deep Neural Networks have taken Natural Language Processing by storm. While this led to incredible improvements across many tasks, it also initiated a new research field, questioning the robustness of these neural networks by attacking them. In this paper, we investigate four word substitution-based attacks on BERT. We combine a human evaluation of individual word substitutions and a probabilistic analysis to show that between 96% and 99% of the analyzed attacks do not preserve semantics, indicating that their success is mainly based on feeding poor data to the model. To further confirm that, we introduce an efficient data augmentation procedure and show that many adversarial examples can be prevented by including data similar to the attacks during training. An additional post-processing step reduces the success rates of state-of-the-art attacks below 5%. Finally, by looking at more reasonable thresholds on constraints for word substitutions, we conclude that BERT is a lot more robust than research on attacks suggests.

연구 동기 및 목표

• BERT에 대한 동의어 기반 대비 공격가 원본 텍스트의 의미를 유지하는지 여부를 조사하여, 이러한 공격가 모델의 취약점을 드러낸다는 가정을 도전한다.
• 공격 유사 예제를 사용한 데이터 증강이 대비 예제에 대한 방어 수단으로서 효과적인지 평가한다.
• 청결한 정확도를 훼손하지 않으면서 공격 성공률를 낮추기 위해 데이터 증강과 후처리를 조합한 경량이고 확장 가능한 방어 전략을 제안한다.
• 대비 NLP 분야의 연구 인cent라이브 구조를 의심하며, 의미적 타당성보다는 높은 공격 성공률를 우선시하는 경향을 제기한다.

제안 방법

• 네 가지 동의어 기반 공격에서 사용된 개별 단어 치환에 대해 인간 평가를 실시하여 의미 유지 정도를 평가한다.
• 카운터-핏팅된 단어 임베딩과 유니버설 문장 인코더(USE)를 사용한 확률적 분석을 통해 원본 텍스트와 변형된 텍스트 간의 의미 유사도를 측정한다.
• 훈련 중에 합성 대비 예제를 생성하는 데이터 증강 절차를 구현하여 모델의 강건성을 향상시킨다.
• 신뢰도 점수를 기반으로 대비 예제를 탐지하는 후처리 단계를 적용하여 공격 성공률를 감소시킨다.
• 기존의 대비 훈련(ADV naive 및 ADV 온더플라이)과 비교하여 강건성과 계산 효율성 측면에서 제안된 방어 전략의 성능을 평가한다.
• 의미 유사도와 공격 타당성을 정량화하기 위해 코사인 유사도 및 카운터-핏팅된 단어 벡터, USE 문장 임베딩 등의 지표를 사용한다.

실험 결과

연구 질문

• RQ1 BERT에 대한 동의어 기반 대비 공격가 원본 텍스트의 의미를 어느 정도 유지하는가?
• RQ2 훈련 중 공격 유사 예제를 사용한 데이터 증강이 대비 공격에 대한 모델 강건성 향상에 상당한 기여를 할 수 있는가?
• RQ3 모델 추론 후에 후처리 단계가 대비 예제 탐지에 얼마나 효과적인가?
• RQ4 제안된 방어 방법이 기존의 대비 훈련보다 강건성과 계산 효율성 측면에서 뛰어나게 성능을 내는가?
• RQ5 높은 성공률를 기록하는 공격가 왜 자주 의미적으로 비일관된 변형을 만들어내며, 이는 모델 강건성 평가에 어떤 영향을 미치는가?

주요 결과

• 네 가지 동의어 기반 공격에 의해 생성된 대비 예제 중 96%에서 99%가 인간 평가 및 확률적 유사도 분석을 통해 의미를 유지하지 못함을 확인하였다.
• 제안된 데이터 증강 절차는 훈련 중에 공격 유사 데이터를 노출시킴으로써 대비 예제의 대부분을 차단하며, Yelp 데이터셋에서 기존의 대비 훈련보다 더 높은 강건성을 달성하였다.
• 후처리 단계는 최첨단 공격의 성공률를 5% 이하로 낮추며 강력한 탐지 능력을 입증하였다.
• 이 방어 방법은 계산적으로 효율적이며, 훈련 데이터가 두 배로 증가했음에도 훈련 시간이 약 50% 증가에 그치며, 표준 대비 훈련보다 빠르고 확장성 면에서 뛰어나다.
• 본 연구는 연구자들이 종종 의미 타당성보다는 높은 공격 성공률를 우선시하는 경향이 있음을 드러내며, NLP 분야에서 대비 예제의 의미적 의미를 약화시킨다.
• 공격이 단어의 최대 40%를 수정하더라도 결과적인 변형은 자주 의미적으로 비일관되며, 이는 현재의 공격 성공률가 모델의 취약성보다는 데이터 품질에 더 크게 영향을 받는다는 것을 시사한다.