[논문 리뷰] A View on Vulnerabilites: The Security Challenges of XAI (Academic Track)

Moustafa Alzantot, Yash Sharma외 2명|arXiv (Cornell University)|2018. 04. 21.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 141

한 줄 요약

이 논문은 자연어에서 의미적이고 문법적으로 유사한 적대적 예제를 생성하기 위해 블랙박스이자 집단 기반 유전 알고리즘을 제안하며, 감성 분석에서 97%의 성공률과 텍스트 함의 분석에서 70%의 성공률을 달성한다. 이 방법은 인간이 이해할 수 있는 방식을 유지하며, 92.3%의 적대적 예제가 인간에 의해 동일하게 분류되며, 적대적 훈련이 강건성을 향상시키지 못함을 보여주어 공격의 강도와 다양성을 입증한다.

ABSTRACT

Deep neural networks (DNNs) are vulnerable to adversarial examples, perturbations to correctly classified examples which can cause the model to misclassify. In the image domain, these perturbations are often virtually indistinguishable to human perception, causing humans and state-of-the-art models to disagree. However, in the natural language domain, small perturbations are clearly perceptible, and the replacement of a single word can drastically alter the semantics of the document. Given these challenges, we use a black-box population-based optimization algorithm to generate semantically and syntactically similar adversarial examples that fool well-trained sentiment analysis and textual entailment models with success rates of 97% and 70%, respectively. We additionally demonstrate that 92.3% of the successful sentiment analysis adversarial examples are classified to their original label by 20 human annotators, and that the examples are perceptibly quite similar. Finally, we discuss an attempt to use adversarial training as a defense, but fail to yield improvement, demonstrating the strength and diversity of our adversarial examples. We hope our findings encourage researchers to pursue improving the robustness of DNNs in the natural language domain.

연구 동기 및 목표

• 이미지와 달리 이산적이고 눈에 띄는 단어 수준의 변형이 존재하는 자연어 분야에서 적대적 예제를 생성하는 데 도전한다.
• 기울기를 기반으로 하지 않는 블랙박스 공격 방법을 개발하여 투명한 모델에도 적용 가능하게 한다.
• 적대적 예제가 의미적·문법적으로 일관성을 유지하여 인간의 해석 가능성을 유지한다.
• 이러한 공격에 대한 모델의 강건성을 평가하며, 특히 적대적 훈련을 방어 수단으로 테스트한다.
• 즉, 인간 수준의 유사성조차도 최첨단 모델을 신뢰성 있게 속일 수 있음을 보여준다.

제안 방법

• 적대적 예제 생성을 위해 블랙박스이자 기울기 기반 최적화가 아닌 유전 알고리즘을 사용한다.
• GloVe 임베딩과 카운터패티팅을 기반으로 동의어를 선택하는 Perturb 서브루틴을 활용하여 의미 유사성을 확보한다.
• 임베딩의 근접성과 맥락 인식 필터링을 통해 의미적·문법적 유사성에 제약 조건을 적용한다.
• 교차 및 돌연변이 연산을 적용하여 공격 성공률이 높아지도록 후보 적대적 문장을 집단적으로 진화시킨다.
• 최대 단어 수정 비율을 고정하여 변형 크기를 제어한다 (IMDB는 20%, SNLI는 25%).
• 모델 예측과 감성 및 유사성에 대한 인간 평가를 통해 공격 성공률을 검증한다.

실험 결과

연구 질문

• RQ1 단어 수준의 변형이 눈에 띄고 이산적인 자연어 영역에서 효과적인 적대적 예제를 생성할 수 있는가?
• RQ2 기울기 기반이 아닌 집단 기반 최적화 방법이 블랙박스 위협 모델 하에서 효과적으로 적대적 예제를 생성할 수 있는가?
• RQ3 생성된 적대적 예제가 인간의 인지와 의미 일관성 측면에서 원본과 얼마나 유사한가?
• RQ4 적대적 훈련은 이러한 공격에 대해 NLP 모델의 강건성을 향상시키는가?
• RQ5 인간 평가자들이 적대적 예제를 원본과 동일한 감성과 의미로 인식하는 정도는 어느 정도인가?

주요 결과

• IMDB 감성 분석 작업에서 공격 성공률가 97%에 도달하여 최소한의 단어 변경으로 예측를 뒤집는 데 성공했다.
• SNLI 텍스트 함의 분석 작업에서는 70%의 경우에서 성공하여 짧은 가설 문장에서도 효과적임을 입증했다.
• 20명의 인간 평가자 중 92.3%가 적대적 예제를 동일한 감성으로 분류하여 인간 인지 유사성을 확인했다.
• 원본과 적대적 예제 쌍 간의 평균 유사도 평가는 4점 만점에 2.23으로, 미미한 인지적 차이를 나타냈다.
• 적대적 훈련은 강건성을 향상시키지 못했으며, 적대적 예제로 훈련된 모델도 테스트 세트에서 동일한 공격에 여전히 취약했다.
• 유전 알고리즘이 성공률과 단어 수정 효율성 측면에서 급진적 기반 대비 뚜렷한 승리를 거두었다.