[논문 리뷰] Detecting Textual Adversarial Examples through Randomized Substitution and Vote

Xiaosen Wang, Yifeng Xiong외 1명|arXiv (Cornell University)|2021. 09. 13.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 동의어 치환 공격에 의해 생성된 텍스트 적대적 예제를 탐지하기 위한 새로운 아키텍처 무관 방법인 Randomized Substitution and Vote(RS&V)를 제안한다. 여러 변형된 입력에서 단어를 무작위로 동의어로 교체하고 예측 결과를 투표함으로써 RS&V는 재학습 없이도 기존 최고 수준의 방법보다 더 높은 정확도로 적대적 입력을 탐지하면서도 정상 입력에 대해 높은 강건성을 유지한다. 이는 모델의 일반화 능력을 활용함으로써 달성된다.

ABSTRACT

A line of work has shown that natural text processing models are vulnerable to adversarial examples. Correspondingly, various defense methods are proposed to mitigate the threat of textual adversarial examples, eg, adversarial training, input transformations, detection, etc. In this work, we treat the optimization process for synonym substitution based textual adversarial attacks as a specific sequence of word replacement, in which each word mutually influences other words. We identify that we could destroy such mutual interaction and eliminate the adversarial perturbation by randomly substituting a word with its synonyms. Based on this observation, we propose a novel textual adversarial example detection method, termed Randomized Substitution and Vote (RS&V), which votes the prediction label by accumulating the logits of k samples generated by randomly substituting the words in the input text with synonyms. The proposed RS&V is generally applicable to any existing neural networks without modification on the architecture or extra training, and it is orthogonal to prior work on making the classification network itself more robust. Empirical evaluations on three benchmark datasets demonstrate that our RS&V could detect the textual adversarial examples more successfully than the existing detection methods while maintaining the high classification accuracy on benign samples.

연구 동기 및 목표

• NLP 시스템에서 동의어 치환 기반 텍스트 적대적 공격의 증가하는 위협에 대응하기 위해.
• 기존 신경망 아키텍처의 변경 없이도 적용 가능한 탐지 방법을 개발하기 위해.
• 정상 입력에 대한 높은 분류 성능를 유지하면서 탐지 정확도를 향상시키기 위해.
• 무작위화를 통해 단어 수준의 상호작용을 방해함으로써 적대적 편향의 취약성을 이용하기 위해.

제안 방법

• 사용자 정의 가능한 치환 비율 $ p $ 를 사용해 입력 텍스트의 일부 단어를 동의어로 무작위로 치환한다.
• 독립적인 무작위 동의어 치환을 통해 입력 텍스트의 $ k $ 개의 변형된 버전을 생성한다.
• 모델의 모든 $ k $ 개의 변형된 샘플에서의 로짓을 취합하여 투표 신호를 형성한다.
• 원본 입력의 예측 레이블이 $ k $ 개의 변형된 샘플의 다수 투표와 다를 경우, 이를 적대적 입력으로 분류한다.
• 문법적 일관성을 유지하기 위해 정지어는 치환에서 제외하며, 사용자 정의 가능한 정지어 선택 비율 $ s $ 를 설정한다.
• 투표 메커니즘을 통해 무작위 치환으로 인한 변동성을 줄이고 탐지 성능를 안정화한다.

실험 결과

연구 질문

• RQ1 무작위 동의어 치환은 동의어 기반 적대적 공격에서의 상호 단어 상호작용을 효과적으로 방해할 수 있는가?
• RQ2 변형된 샘플 수 $ k $ 는 탐지 성능과 변동성 감소에 어떤 영향을 미치는가?
• RQ3 탐지 정확도와 정상 입력에 대한 강건성 사이의 균형을 고려할 때 최적의 치환 비율 $ p $ 는 무엇인가?
• RQ4 정지어를 치환에서 제외할 경우 탐지 효과성과 모델 일반화 능력에 어떤 영향을 미치는가?
• RQ5 공격자가 탐지 모듈을 알고 있더라도 RS&V는 기존 탐지 방법을 능가할 수 있는가?

주요 결과

• RS&V는 AG’s News, IMDB, Rotten Tomatoes를 포함한 세 가지 벤치마크 데이터셋에서 기존 최고 수준의 기준보다 더 높은 탐지 정확도를 달성한다.
• 치환 비율 $ p = 60\text{\%} $, $ k = 25 $, 정지어 제외 비율 $ s = 2\text{\%} $ 일 때, RS&V는 모든 데이터셋에서 정상 입력에 대해 높은 분류 정확도(>95%)를 유지한다.
• 치환 비율을 높일수록 탐지 정확도가 유의미하게 향상되며, $ p = 60\text{\%} $ 에 도달한 후에는 성능이 안정화된다.
• $ k \geq 10 $ 일 경우 안정적이고 높은 탐지 성능를 확보할 수 있으며, $ k = 25 $ 가 최적의 균형을 이룬다.
• 정지어 선택 비율 $ s $ 가 2\% 를 초과할 경우 성능이 저하되며, 이는 너무 많은 단어를 제외함으로써 적대적 편향 제거 능력이 제한됨을 시사한다.
• 공격자가 탐지 메커니즘을 알고 있는 블랙박스 공격 환경에서도 RS&V는 여전히 효과적이며, 강력한 강건성을 입증한다.