[논문 리뷰] Learning to Attack: Towards Textual Adversarial Attacking in Real-world Situations

Yuan Zang, Bairu Hou외 4명|arXiv (Cornell University)|2020. 09. 19.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 9

한 줄 요약

이 논문은 공격 이력을 기반으로 학습하여 실세계 시나리오에서 효율성과 효과성을 향상시키는 강화학습 기반 텍스트 적대적 공격 모델을 제안한다. 단어 치환에 대한 최적의 정책을 학습함으로써 기존 방법보다 훨씬 적은 쿼리로 더 높은 공격 성공률을 달성하며, 다양한 NLP 작업에서 점수 기반 및 의사결정 기반 설정 모두에서 베이스라인을 능가한다.

ABSTRACT

Adversarial attacking aims to fool deep neural networks with adversarial examples. In the field of natural language processing, various textual adversarial attack models have been proposed, varying in the accessibility to the victim model. Among them, the attack models that only require the output of the victim model are more fit for real-world situations of adversarial attacking. However, to achieve high attack performance, these models usually need to query the victim model too many times, which is neither efficient nor viable in practice. To tackle this problem, we propose a reinforcement learning based attack model, which can learn from attack history and launch attacks more efficiently. In experiments, we evaluate our model by attacking several state-of-the-art models on the benchmark datasets of multiple tasks including sentiment analysis, text classification and natural language inference. Experimental results demonstrate that our model consistently achieves both better attack performance and higher efficiency than recently proposed baseline methods. We also find our attack model can bring more robustness improvement to the victim model by adversarial training. All the code and data of this paper will be made public.

연구 동기 및 목표

• 실세계 시나리오에서 기존 점수 기반 및 의사결정 기반 텍스트 적대적 공격 모델이 요구하는 과도한 피해자 모델 쿼리로 인한 비효율성을 해결하기 위해.
• 공격 이력을 활용하여 공격 효율성을 향상시키는 학습 능력을 갖춘 공격 모델을 개발하기 위해.
• 다양한 NLP 작업에서 점수 기반 및 의사결정 기반 공격 설정 모두에서 모델 성능을 평가하기 위해.
• 제안된 모델에서 생성된 예시를 사용한 적대적 훈련이 피해자 모델의 강건성 향상에 기여하는지 조사하기 위해.
• 최첨단 베이스라인과 비교해 공격 성공률 및 쿼리 효율성 측면에서 모델의 열등성을 입증하기 위해.

제안 방법

• 모델은 피해자 모델의 예측에 영향을 주는 핵심 단어를 선택하기 위한 정책을 학습하기 위해 심층 강화학습을 사용한다.
• 단어 임베딩, 동의어 또는 의미 표현을 사용하여 시퀀스에서 키워드를 반복적으로 의미적으로 유사한 대체어로 교체하는 순서 기반 행동 공간을 활용한다.
• 정책 기반 강화학습 방법을 통해 누적 보상(최소한의 쿼리로 피해자 모델를 속이는 데 성공하는 것)을 최대화하도록 에이전트를 훈련시킨다.
• 모델은 점수 기반 및 의사결정 기반 설정 모두에서 작동하며, 기울기나 전체 모델 액세스가 아닌 모델 출력(점수 또는 예측)만 필요로 한다.
• 공격 이력을 정 politics 파rameter에 저장하고 활용하여 경험 기반 학습을 통해 향후 공격 효율성을 향상시킨다.
• 최첨단 모델(예: ALBERT, XLNet, RoBERTa)과 두 개의 공개 API를 사용하여 세 가지 NLP 작업—감성 분석, 텍스트 분류, 자연어 추론—에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 강화학습 기반 공격 모델이 기존 점수 기반 및 의사결정 기반 방법보다 더 적은 쿼리로 더 높은 공격 성공률을 달성할 수 있는가?
• RQ2 공격 이력에서 학습할 수 있는 능력이 실세계 적대적 설정에서 공격 효율성을 크게 향상시키는가?
• RQ3 제안된 모델에서 생성된 적대적 예시를 사용한 적대적 훈련이 피해자 모델의 강건성 향상에 기여하는가?
• RQ4 모델은 다양한 NLP 작업과 피해자 모델(블랙박스 API 포함)에서 어떻게 성능을 발휘하는가?
• RQ5 기존 공격 방법에 비해 제안된 모델은 적대적 훈련에 더 강건한가?

주요 결과

• 제안된 모델은 점수 기반 및 의사결정 기반 설정 모두에서 모든 데이터셋과 피해자 모델에서 가장 높은 공격 성공률을 기록하며, 일관되게 베이스라인을 능가한다.
• 점수 기반 설정에서는 SST-2에서 평균 83.96회 쿼리만을 요구하며, GA+Embedding의 365.69회와 PWWS+Synonym의 101.15회보다 훨씬 적다.
• 의사결정 기반 설정에서는 ALBERT에서 평균 69.79회 쿼리만을 사용하며, GA’+Embedding의 299.14회와 PSO’+Sememe의 158.72회보다 현저히 적다.
• 인간 평가 결과, 제안된 모델의 공격 유효성은 베이스라인과 유사함을 확인하여, 적대적 예시가 자연스럽고 의미적으로 일관성을 유지하고 있음을 시사한다.
• 제안된 모델에서 생성된 예시를 사용한 적대적 훈련은 PSO+Sememe에서 생성된 예시를 사용한 훈련보다 후속 공격에 대한 강건성 향상 효과가 더 크다.
• 공격 예시를 사용한 적대적 훈련으로도 방어가 어려운 편이며, 이 모델의 예시를 사용한 공격는 방어 조치에 의해 성공률 감소 속도가 느리게 나타난다.