[논문 리뷰] Generating Natural Language Adversarial Examples through An Improved Beam Search Algorithm

Tengfei Zhao, Zhaocheng Ge외 2명|arXiv (Cornell University)|2021. 10. 15.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 5

한 줄 요약

이 논문은 블랙박스 환경에서 고품질, 저변형 자연어 적대적 예제를 생성하기 위해 개선된 비드 서치 알고리즘을 제안한다. Sentiwordnet 유사도를 활용한 검색 전략 최적화 및 단어 교체 점수 계산을 통해, BERT와 BiLSTM에 대해 IMDB에서 100% 공격 성공률를 달성하였으며, 최신 기준 대비 3–15배 적은 쿼리 수를 사용하여 효율성을 크게 향상시켰다. 성공률나 전이성에 손해를 입히지 않은 채이다.

ABSTRACT

The research of adversarial attacks in the text domain attracts many interests in the last few years, and many methods with a high attack success rate have been proposed. However, these attack methods are inefficient as they require lots of queries for the victim model when crafting text adversarial examples. In this paper, a novel attack model is proposed, its attack success rate surpasses the benchmark attack methods, but more importantly, its attack efficiency is much higher than the benchmark attack methods. The novel method is empirically evaluated by attacking WordCNN, LSTM, BiLSTM, and BERT on four benchmark datasets. For instance, it achieves a 100\% attack success rate higher than the state-of-the-art method when attacking BERT and BiLSTM on IMDB, but the number of queries for the victim models only is 1/4 and 1/6.5 of the state-of-the-art method, respectively. Also, further experiments show the novel method has a good transferability on the generated adversarial examples.

연구 동기 및 목표

• 기존의 블랙박스 단어 수준 적대적 공격 방법의 비효율성, 즉 과도한 모델 쿼리 수요을 해결한다.
• IMDB 및 SST-2와 같은 짧은 텍스트에서 기존 방법이 성능을 낮추는 문제를 개선한다.
• 생성된 적대적 예제의 의미적 유사도를 높이고 변형을 최소화하여 자연스럽고 품질 높은 예제를 유지한다.
• BERT에서 DistilBERT에 이르기까지 다양한 모델 간의 적대적 예제 전이성을 향상시킨다.
• 계산 비용을 줄이면서도 높은 공격 효과를 유지하는 쿼리 효율적인 공격 전략을 설계한다.

제안 방법

• 블랙박스 텍스트 공격 환경에서 검색 효율성과 성공률을 향상시키기 위해 개선된 비드 서치 알고리즘을 도입한다.
• 의미 유사도가 높고 변형이 적은 동의어를 우선순위로 정렬하기 위해 Sentiwordnet 기반의 새로운 단어 교체 점수 계산 방법을 설계한다.
• 입력의 복잡성에 따라 다양한 복잡도를 반영하기 위해 장문 텍스트와 단문 텍스트에 대해 별도의 공격 전략을 구현한다.
• 탐색과 탐색 간의 균형을 맞추기 위해 비드 폭 최적화를 적용하여, 비드 폭 = 1일 때도 높은 공격 성공률를 달성한다.
• 공격 성공률를 높이기 위해 민감도 기반 선택 메커니즘을 도입하여 적대적 예제로 이어지는 탐색 경로를 유도한다.
• 모델 예측 결과(기울기 정보 없음)만 접근 가능한 블랙박스 환경에서 공격을 수행하여 실제 환경의 제약 조건을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 개선된 비드 서치 알고리즘이 블랙박스 NLP 공격에서 효과적인 적대적 예제를 생성하기 위해 필요한 쿼리 수를 크게 줄일 수 있는가?
• RQ2 제안된 방법이 특히 IMDB 및 SST-2와 같은 짧은 텍스트 데이터셋에서 최신 기준 대비 높은 공격 성공률를 달성하는가?
• RQ3 Sentiwordnet 기반 유사도를 사용할 경우 적대적 예제의 품질과 자연스러움이 어느 정도 향상되는가?
• RQ4 표준 비드 서치와 비교했을 때 개선된 비드 서치 알고리즘이 공격 성공률와 효율성 측면에서 어떤가?
• RQ5 제안된 방법으로 생성된 적대적 예제는 DistilBERT와 같은 다른 모델로도 강한 전이성을 보이는가?

주요 결과

• 제안된 방법은 BERT와 BiLSTM에 대해 IMDB 데이터셋에서 100%의 공격 성공률를 달성하였으며, 모든 기준 대비 방법을 초월한다.
• IMDB에서 이 방법은 SememePSO 기준 1/15, PWWS 기준 1/3의 쿼리 수를 사용하여 공격 속도를 3–15배 빠르게 한다.
• SST-2 데이터셋에서는 91.6%의 공격 성공률를 기록하여 비교된 모든 기준 대비 높은 성능을 보였다.
• 비드 폭 = 1일 때에도 표준 비드 서치(비드 폭 = 6)를 뛰어넘는 성공률를 기록하며, 개선된 비드 서치 알고리즘이 뛰어난 성능을 보였다.
• 이 방법으로 생성된 적대적 예제는 낮은 퍼플렉서티와 높은 문법 정확도를 보이며, 강력한 언어 품질을 나타낸다.
• 적대적 예제의 전이성은 최신 기준인 SememePSO 방법과 유사하며, IMDB, SST-2, YELP, SNLI 등 다양한 데이터셋에서 DistilBERT에 대해 유사한 성공률를 기록하였다.