[논문 리뷰] Identifying Adversarial Attacks on Text Classifiers

Zhouhang Xie, Jonathan Brophy외 7명|arXiv (Cornell University)|2022. 01. 21.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 텍스트 분류기의 적대적 공격를 분석하여 손상된 텍스트의 특징을 분석함으로써 식별하는 새로운 접근법을 제안한다. 새로운 벤치마크 데이터셋(TCAB)을 사용하여 150만 개의 공격 인스턴스를 확보하였으며, 텍스트, 언어 모델, 대상 모델의 특징을 조합한(TLC) 방법을 통해 공격를 97%의 정확도로 정확하게 탐지하고 식별할 수 있음을 입증하였다. 이는 새로운 공격에 대해서도 일반화 가능한 성능을 보이며, 실제 응용에 있어 높은 정확도를 달성할 수 있음을 의미한다.

ABSTRACT

The landscape of adversarial attacks against text classifiers continues to grow, with new attacks developed every year and many of them available in standard toolkits, such as TextAttack and OpenAttack. In response, there is a growing body of work on robust learning, which reduces vulnerability to these attacks, though sometimes at a high cost in compute time or accuracy. In this paper, we take an alternate approach -- we attempt to understand the attacker by analyzing adversarial text to determine which methods were used to create it. Our first contribution is an extensive dataset for attack detection and labeling: 1.5~million attack instances, generated by twelve adversarial attacks targeting three classifiers trained on six source datasets for sentiment analysis and abuse detection in English. As our second contribution, we use this dataset to develop and benchmark a number of classifiers for attack identification -- determining if a given text has been adversarially manipulated and by which attack. As a third contribution, we demonstrate the effectiveness of three classes of features for these tasks: text properties, capturing content and presentation of text; language model properties, determining which tokens are more or less probable throughout the input; and target model properties, representing how the text classifier is influenced by the attack, including internal node activations. Overall, this represents a first step towards forensics for adversarial attacks against text classifiers.

연구 동기 및 목표

• 텍스트 분류기의 적대적 공격 증가 추세에 대응하기 위해 주어진 텍스트를 생성한 공격 방법을 식별하는 것.
• 공격 식별 모델의 훈련 및 평가를 위한 종합적인 벤치마크 데이터셋(TCAB)을 개발하는 것.
• 다양한 적대적 공격 방법을 구분하기 위해 세 가지 특징 유형—텍스트 성질, 언어 모델 성질, 대상 모델 성질—의 효과성을 조사하는 것.
• 방어 전략 수립과 실세계 응용에서 악성 행위자를 탐지하기 위한 적대적 공격의 현장 분석(포렌식 분석)을 가능하게 하는 것.
• 훈련 중에 볼 수 없었던 공격에 대해서도 공격 식별 모델의 일반화 성능을 입증하여 실무 배포 시의 강건성을 향상시키는 것.

제안 방법

• 저자는 3개의 트랜스포머 기반 분류기에서 6개의 감성 및 혐오 탐지 데이터셋에 대해 12개의 공격를 적용하여 150만 개의 적대적 예제를 포함한 텍스트 분류 공격 벤치마크(TCAB)를 구축하였다.
• 세 가지 유형의 특징을 추출한다: 텍스트 성질(예: 단어 길이, 구두점, 비-ASCII 문자), 언어 모델 성질(예: 토큰 확률, 퍼플렉서티), 대상 모델 성질(예: 내부 활성화, 기울기, 시각화 중요도).
• 이 특징들은 BERT 임bedding과 결합되어 공격 탐지 및 식별을 위한 선형 및 트리 앙상블 분류기 모델을 훈련하는 데 사용된다.
• 모델은 도메인 내 및 도메인 외 설정에서 평가되며, 훈련 중에 볼 수 없었던 공격에 대한 일반화 능력을 테스트한다.
• 각 특징 유형이 공격 식별 성능에 기여하는 정도를 평가하기 위해 특징 제거(ablation) 실험을 수행한다.
• 연구의 향후 발전과 모델 확장을 지원하기 위해 데이터셋과 코드를 공개적으로 배포하였다.

실험 결과

연구 질문

• RQ1 텍스트, 언어 모델, 모델 전용 특징의 조합을 통해 적대적 공격를 정확하게 식별할 수 있는가?
• RQ2 훈련 중에 볼 수 없었던 공격에 대해 공격 식별 모델의 일반화 능력은 얼마나 우수한가?
• RQ3 텍스트 성질, 언어 모델 성질, 대상 모델 성질 중 어떤 특징 유형이 공격 식별 성능 향상에 가장 기여하는가?
• RQ4 공격 식별 기술이 소셜 미디어 및 오락성 정보 유포 상황에서 악성 행위자나 캠페인을 추적하는 포렌식 도구로 활용될 수 있는가?
• RQ5 훈련 시 사용한 대상 모델이 추론 시 사용한 모델과 동일하거나 다를 경우, 공격 식별 성능의 상한선은 어느 정도인가?

주요 결과

• 대상 모델이 공격 생성과 특징 추출에 사용된 모델과 동일할 경우, 공격 탐지 정확도는 84~97%에 이르며, 높은 정확도를 확보한다.
• 대상 모델이 훈련과 추론에서 다를 경우, 정확도는 83~91%로 약간 하락하지만, 여전히 강력한 일반화 능력을 보이며, 이는 높은 일반화 성능을 의미한다.
• 훈련 세트에 포함되지 않은 새로운 공격 유형에 대해서도 효과적으로 일반화되며, 공격 탐지 성능이 높은 수준을 유지한다.
• 텍스트 성질(T), 언어 모델 성질(L), 대상 모델 성질(C)이 결합된 TLC 특징 세트는 기준 모델 대비 공격 식별 성능을 크게 향상시킨다.
• 세 가지 특징 유형 중에서 대상 모델 성질(C)이 식별 성능 향상에 가장 큰 기여를 하며, 그 다음으로 언어 모델 성질(L), 텍스트 성질(T)의 순서를 보인다.
• 최고의 성능을 보이는 모델은 SST-2 데이터셋에서 도메인 내 대상 모델을 사용할 경우 공격 식별 정확도 97%를 달성하여 제안된 접근법의 높은 효과성을 입증한다.