[논문 리뷰] Detection of Word Adversarial Examples in Text Classification: Benchmark and Baseline via Robust Density Estimation

KiYoon Yoo, Jangho Kim외 2명|arXiv (Cornell University)|2022. 03. 03.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 적대적 훈련 데이터나 공격 유형에 특화된 가정 없이 텍스트 분류에서 단어 수준의 적대적 예제를 탐지하기 위한 강건한 밀도 추정(RDE) 방법을 제안한다. BERT 기반 특징 공간에서 안정적인 밀도 추정을 위해 커널 주성분 분석과 최소 공분산 행렬을 활용함으로써 RDE는 30개의 데이터셋-공격-모델 조합 중 29개에서 최고 수준의 AUC 성능을 달성하여 NLP 분야의 적대적 탐지에 강력하고 공격 유형에 관계없는 기준선을 확립한다.

ABSTRACT

Word-level adversarial attacks have shown success in NLP models, drastically decreasing the performance of transformer-based models in recent years. As a countermeasure, adversarial defense has been explored, but relatively few efforts have been made to detect adversarial examples. However, detecting adversarial examples may be crucial for automated tasks (e.g. review sentiment analysis) that wish to amass information about a certain population and additionally be a step towards a robust defense system. To this end, we release a dataset for four popular attack methods on four datasets and four models to encourage further research in this field. Along with it, we propose a competitive baseline based on density estimation that has the highest AUC on 29 out of 30 dataset-attack-model combinations. Source code is available in https://github.com/anoymous92874838/text-adv-detection.

연구 동기 및 목표

• NLP에서 단어 수준의 적대적 예제에 대한 효과적이고 일반화 가능한 탐지 방법의 부족을 해결하기 위해.
• 각 공격 유형별로 적대적 훈련 데이터나 검증 세트가 필요하지 않은 탐지 프레임워크를 개발하기 위해.
• 다양한 데이터셋, 모델, 공격 방법 간의 적대적 예제 탐지 평가를 위한 벤치마크를 수립하기 위해.
• 깊은 특징 공간에서의 밀도 추정이 의미적으로 그대로 유지되며 인간이 감지하기 어려운 적대적 변형을 효과적으로 탐지할 수 있음을 입증하기 위해.
• 기존 방법들을 초월하는 다수의 표준 벤치마크에서 성능을 보여주는 모델 독립적이고 공격 독립적인 기준선을 제공하기 위해.

제안 방법

• 사전 훈련된 언어 모델(예: BERT)의 특징 표현을 파arametric 밀도 추정 모델의 입력으로 사용한다.
• 고차원 특징 공간에서의 차원의 저주 문제를 완화하기 위해 커널 주성분 분석을 적용한다.
• 최소 공분산 행렬(MCD)을 사용하여 강건한 다변량 위치 및 산란 추정을 수행함으로써 희소 데이터와 노이즈가 많은 특징이 있는 환경에서의 이상치 탐지 성능을 향상시킨다.
• 각 입력 샘플의 가능도 점수는 적합된 밀도 모델 기반으로 계산되며, 낮은 가능도 값은 잠재적인 적대적 입력임을 나타낸다.
• 이 방법은 완전히 비지도 학습이며, 훈련 또는 검증 과정에서 어떤 적대적 예제도 필요로 하지 않는다.
• 문장 수준의 입력에 적용되므로 표준 텍스트 분류 파ip라인과 호환된다.

실험 결과

연구 질문

• RQ1 적대적 훈련 데이터나 공격 유형에 특화된 가정 없이 밀도 추정 기반 방법이 단어 수준의 적대적 예제를 탐지할 수 있는가?
• RQ2 커널 주성분 분석과 MCD를 활용한 강건한 밀도 추정은 기존의 빈도 기반 또는 학습 기반 탐지 방법과 비교해 공격 및 모델 간 일반화 성능에서 어떻게 다른가?
• RQ3 더 강력하고 적응형이거나 오라클 수준의 적대자에 직면했을 때 제안된 방법의 탐지 성능가 유지되는 정도는 어느 정도인가?
• RQ4 MCD의 지원 분율 및 주성분 수와 같은 하이퍼파rameter에 대해 이 방법은 얼마나 민감한가?
• RQ5 의미적으로나 문법적으로 그대로 유지된 적대적 예제를 탐지할 수 있는가? 즉, 인간의 감지에서 피할 수 있는가?

주요 결과

• 제안된 RDE 방법은 30개의 데이터셋-공격-모델 조합 중 29개에서 가장 높은 AUC 점수를 기록하여 다양한 설정 간 강력한 일반화 성능을 입증한다.
• 30개 조합 중 25개에서 RDE는 진짜 양성률(TPR)과 F1 점수 측면에서도 최고 성능을 기록하여 그 강건성과 민감성을 확인한다.
• 적대자가 적응형 또는 오라클 수준의 전략을 사용하더라도 RDE는 높은 탐지 성능를 유지하지만, 이러한 공격는 문법 오류와 높은 PPL을 통해 매우 눈에 띄게 된다.
• 하이퍼파ram터 분석 결과, 지원 분율(h)과 주성분 수(P)의 넓은 범위에서 방법이 안정적이며, 기본 설정에서 최적의 성능가 달성됨을 확인하였다.
• 정성적 분석 결과, 높은 지원 분율(h)은 더 넓은 가능도 등고선을 생성하며, 모든 샘플을 추정에 사용할 경우 이상치에 의해 오염되어 탐지 성능이 떨어질 수 있음을 확인하였다.
• 논문과 함께 공개된 벤치마크 데이터셋은 네 가지 인기 있는 텍스트 분류 데이터셋, 네 가지 NLP 모델, 네 가지 단어 수준의 공격 방법을 포함하여 분야 내 표준화된 평가를 가능하게 한다.