[논문 리뷰] Randomized Substitution and Vote for Textual Adversarial Example Detection.

Xiaosen Wang, Yifeng Xiong외 1명|arXiv (Cornell University)|2021. 09. 13.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 7

한 줄 요약

이 논문은 무작위 동의어 치환과 투표(Randomized Substitution and Vote, RS&V)를 제안하며, 동의어로 단어를 무작위로 교체하고 예측 결과를 투표 방식으로 집계하여 텍스트 적대적 예제를 탐지하는 아키텍처에 종속되지 않는 새로운 방법이다. RS&V는 정상 입력에서의 높은 정확도를 유지하면서도 기존 탐지 방법보다 뛰어난 성능을 보이며, 무작위 동의어 치환을 통해 적대적 단어 간 상호의존성을 파괴함으로써 성능을 향상시킨다.

ABSTRACT

A line of work has shown that natural text processing models are vulnerable to adversarial examples. Correspondingly, various defense methods are proposed to mitigate the threat of textual adversarial examples, e.g. adversarial training, certified defense, input pre-processing, detection, etc. In this work, we treat the optimization process for synonym substitution based textual adversarial attacks as a specific sequence of word replacement, in which each word mutually influences other words. We identify that we could destroy such mutual interaction and eliminate the adversarial perturbation by randomly substituting a word with its synonyms. Based on this observation, we propose a novel textual adversarial example detection method, termed Randomized Substitution and Vote (RS&V), which votes the prediction label by accumulating the logits of k samples generated by randomly substituting the words in the input text with synonyms. The proposed RS&V is generally applicable to any existing neural networks without modification on the architecture or extra training, and it is orthogonal to prior work on making the classification network itself more robust. Empirical evaluations on three benchmark datasets demonstrate that RS&V could detect the textual adversarial examples more successfully than the existing detection methods while maintaining the high classification accuracy on benign samples.

연구 동기 및 목표

• 동의어 치환을 통해 생성된 적대적 예제에 대한 텍스트 분류 모델의 취약성을 해결하기 위해.
• 모델 재훈련이나 아키텍처 변경 없이도 탐지 방법을 개발하기 위해.
• 무작위 동의어 치환을 통해 적대적 단어 간 상호의존성을 파괴하여 변형을 드러내기 위해.
• 정상 입력에서 강력한 정확도를 유지하면서도 높은 탐지 성능를 달성하기 위해.
• 모든 사전 훈련된 신경망과 호환되는 일반적인 목적의, 수직적 방어 메커니즘을 제공하기 위해.

제안 방법

• 모델은 입력 텍스트의 각 단어를 그의 동의어 중 하나로 무작위로 교체하여 k개의 변형된 버전을 생성한다.
• 각 변형된 샘플에 대해 모델은 로짓(logits)을 출력하며, 이 로짓은 k개의 샘플 전역에서 집계된다.
• 투표 메커니즘은 k개 샘플의 누적 로짓을 바탕으로 최종 예측 레이블을 선택한다.
• 이 방법은 적대적 변형이 좌표화된 단어 수준의 변화에 의존한다는 사실을 활용하며, 이는 무작위 치환에 의해 파괴된다.
• 이 방법은 추론 후에 적용되며, 모델 미세조정이나 아키텍처 수정이 필요 없다.
• 탐지 결정은 k개의 랜덤화된 샘플 간 예측 일관성 분석을 통해 내려진다.

실험 결과

연구 질문

• RQ1 무작위 동의어 치환은 텍스트 적대적 예제에서 적대적 단어 간 상호의존성을 효과적으로 파괴할 수 있는가?
• RQ2 무작위로 치환된 샘플에 대한 예측 투표는 기존 방법보다 탐지 성능을 향상시킬 수 있는가?
• RQ3 제안된 방법은 적대적 예제를 탐지하면서도 정상 입력에서 높은 정확도를 유지하는가?
• RQ4 RS&V 방법은 다양한 신경망 아키텍처와 데이터셋에 대해 얼마나 일반화 가능한가?
• RQ5 RS&V는 모델 재훈련이 필요 없이 수직적이고 즉시 적용 가능한 방어 수단으로 기능할 수 있는가?

주요 결과

• RS&V는 기존 탐지 방법보다 세 가지 벤치마크 데이터셋에서 뛰어난 탐지 성능를 달성한다.
• 정상 입력, 즉 적대적이지 않은 입력에서 높은 분류 정확도를 유지하며, 성능 저하가 최소한임을 시사한다.
• 모델 아키텍처 변경 없이도 다양한 사전 훈련된 신경망 모델에서 효과적으로 작동한다.
• 무작위 치환은 적대적 단어 간 상호작용을 성공적으로 파괴하여 변형을 더 잘 드러내며,
• k개의 랜덤화된 샘플에 기반한 투표 메커니즘은 적대적 노이즈에 대한 강건성을 향상시킨다.
• 실증 결과는 RS&V가 기존의 강건성 기법(예: 적대적 훈련 등)과 수직적임을 확인한다.