[논문 리뷰] Universal Adversarial Attacks with Natural Triggers for Text Classification

Liwei Song, Xinwei Yu외 2명|arXiv (Cornell University)|2020. 05. 01.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 11

한 줄 요약

이 논문은 자연스럽고 유창한 트리거를 사용하여 텍스트 분류 모델에 대한 유니버설 적대적 공격을 생성하는 Natural Universal Trigger Search (NUTS)를 제안한다. 의미 없는 단어 조합 대신 자연스러운 트리거를 사용함으로써, 적대적 정규화된 오토인코더(ARAE)와 l₂ 정규화를 적용한 기울기 기반 최적화를 통해 NUTS는 높은 공격 성공률(예: SST에서 19.96%)을 달성하면서도 훨씬 더 자연스럽게 만들어진다. 인간 평가자 중 77.78%는 NUTS 트리거가 기존 기준보다 더 자연스럽다고 평가했고, 44.27%는 자연스럽게 생성된 것으로 판단했으며, 이는 이전 연구 대비 탐지하기 더 어려운 결과를 이끌어냈다.

ABSTRACT

Recent work has demonstrated the vulnerability of modern text classifiers to universal adversarial attacks, which are input-agnostic sequences of words added to text processed by classifiers. Despite being successful, the word sequences produced in such attacks are often ungrammatical and can be easily distinguished from natural text. We develop adversarial attacks that appear closer to natural English phrases and yet confuse classification systems when added to benign inputs. We leverage an adversarially regularized autoencoder (ARAE) to generate triggers and propose a gradient-based search that aims to maximize the downstream classifier's prediction loss. Our attacks effectively reduce model accuracy on classification tasks while being less identifiable than prior models as per automatic detection metrics and human-subject studies. Our aim is to demonstrate that adversarial attacks can be made harder to detect than previously thought and to enable the development of appropriate defenses.

연구 동기 및 목표

• 자연스럽지 않고 쉽게 탐지 가능한 트리거를 사용하는 유니버설 적대적 공격에 취약한 텍스트 분류기 문제를 해결하기 위해.
• 자동화된 도구와 인간 관찰자 모두가 탐지하기 어려운 자연어와 구분되지 않는 적대적 트리거를 생성하는 방법을 개발하기 위해.
• 이전까지 생각보다 훨씬 더 은밀한 공격이 가능함을 입증함으로써, 더 강력한 방어 기법의 필요성을 제기하기 위해.
• 백색 상자 액세스에 의존하지 않고도 다양한 모델과 데이터셋 간에 전이 가능한 공격을 가능하게 하기 위해.

제안 방법

• 자연스러운 텍스트를 연속적인 노이즈 벡터에서 생성하기 위해 적대적 정규화된 오토인코더(ARAE)를 사용하여 의미적 일관성과 유창성을 보장한다.
• 목표 분류기의 예측 손실을 최대화하는 트리거를 최적화하기 위해 노이즈 벡터 공간에서 기울기 기반 탐색을 수행한다.
• l₂ 노름 정규화를 적용한 프로젝티드 기울기 하강법을 사용하여 분포 외 노이즈 벡터를 방지하고 자연스러움을 유지한다.
• 단일 어휘(prompt)가 아닌 전체 어구로 직접 트리거를 생성함으로써 의미적 품질 향상과 탐지 저항력 향상을 도모한다.
• 공격은 양호한 입력의 시작 부분에 단일, 입력에 의존하지 않는 트리거를 연결하여 적용한다.
• 전이 가능성은 한 모델에서 트리거를 생성하고 다른 모델에서 테스트함으로써 평가되며, 다양한 아키텍처(LSTM, BERT)와 데이터셋(SST, IMDB)을 포함한다.

실험 결과

연구 질문

• RQ1 적대적 트리거를 자연어처럼 매우 자연스럽고 효과적으로 생성할 수 있는가?
• RQ2 적대적 트리거의 자연스러움이 인간 및 자동 탐지에 어떤 영향을 미치는가?
• RQ3 공격이 다양한 모델 아키텍처와 데이터셋 간에 어느 정도 전이 가능한가?
• RQ4 잠재 공간에서 기울기 기반 최적화를 통해 높은 품질의 자연스러운 트리거를 생성할 수 있으며, 강력한 공격 성능도 유지할 수 있는가?

주요 결과

• NUTS가 생성한 트리거는 스탠포드 감성 트리뱅크(SST)의 부정 예측에 대해 테스트 정확도 19.96%를 달성하여 강력한 공격 성공률을 입증했다.
• 쌍대 비교에서 인간 평가자 77.78%가 NUTS 트리거가 기준 공격보다 더 자연스럽다고 평가했으며, 이는 양호한 입력과 연결된 경우에도 동일하게 유지되었다.
• 인간 평가자 중 44.27%는 NUTS 공격 입력을 자연스럽게 생성된 것으로 판단했고, 기준 공격 대비 22.84%에 그쳤다.
• LSTM 기반 소스 모델에서 BERT 모델로 전이했을 때 공격 정확도가 14–51% 감소하여 강력한 아키텍처 간 전이 가능성을 입증했다.
• IMDB 데이터셋에서 전이된 공격은 타겟 LSTM 모델에서 정확도를 18–34% 감소시켜 데이터셋 간 전이 가능성도 확인했다.
• NUTS 트리거는 평균 단어 빈도, GPT-2 언어 모델 손실, 문법 검사기 오류 비율의 세 가지 자연스러움 메트릭에서 기준 대비 뛰어난 성능을 보였다.