[논문 리뷰] Discrete Adversarial Attacks and Submodular Optimization with Applications to Text Classification

Lei Qi, Lingfei Wu외 4명|arXiv (Cornell University)|2018. 12. 01.

Adversarial Robustness in Machine Learning인용 수 57

한 줄 요약

요약: 이 논문은 텍스트에 대한 이산적 적대적 공격을 집합 함수 최적화 문제로 구성하고, 특정 조건에서 일반적인 신경망 텍스트 분류기에 대해 부분모듈성(submodularity)을 증명하며, 의미를 보존하면서 공격 효과를 개선하기 위해 문장 및 단어 교체를 함께 수행하는 그래디언트 가이드 탐욕적 패러프레이징 방법을 개발한다.

ABSTRACT

Adversarial examples are carefully constructed modifications to an input that completely change the output of a classifier but are imperceptible to humans. Despite these successful attacks for continuous data (such as image and audio samples), generating adversarial examples for discrete structures such as text has proven significantly more challenging. In this paper we formulate the attacks with discrete input on a set function as an optimization task. We prove that this set function is submodular for some popular neural network text classifiers under simplifying assumption. This finding guarantees a $1-1/e$ approximation factor for attacks that use the greedy algorithm. Meanwhile, we show how to use the gradient of the attacked classifier to guide the greedy search. Empirical studies with our proposed optimization scheme show significantly improved attack ability and efficiency, on three different text classification tasks over various baselines. We also use a joint sentence and word paraphrasing technique to maintain the original semantics and syntax of the text. This is validated by a human subject evaluation in subjective metrics on the quality and semantic coherence of our generated adversarial text.

연구 동기 및 목표

• 이산 텍스트 입력에 대한 적대적 공격을 집합 함수 최적화 문제로 동기 부여하고 형식화한다.
• 공격 목표가 효율적 탐욕 근사화를 가능하게 하는 조건에서 부분모듈성인지 식별한다.
• 의미를 보존하는 그래디언트 가이드 및 패러프레이즈 기반 공격 알고리즘을 개발한다.
• 다양한 텍스트 분류 작업 및 모델에서 공격 효과를 실험적으로 검증한다.
• 다른 이산 도메인(예: 악성코드 탐지, 스팸 필터링)에도 적용 가능한 프레임워크를 제공한다.

제안 방법

• 공격을 ||l||_0 ≤ m인 희소한 특징 변환 집합에서 C_y(V(T_l(x)))를 최대화하는 것으로 공식화한다.
• f(S) = max_{supp(l)⊆S} C_y(V(T_l(x)))로 정의하고 일반적으로 NP-난해함을 보인다.
• f가 단조이고 부분모듈적이면 탐욕 알고리즘이 (1-1/e) 근사를 달성한다.
• 특정 조건에서 두 신경망 클래스에 대해 부분모듈성을 보인다: 드롭아웃/소프트맥스 없는 단순화된 Word CNN과 한 차원 은닉 유닛을 가진 RNN.
• 高영향 단어를 선택하고 교체를 효율적으로 탐색하기 위해 그래디언트 가이드 탐욕적 단어 패러프레이징(Gauss-Southwell 영감)을 도입한다.
• 의미를 보존하기 위해 문장 및 단어 패러프레이징을 제안하고 의미(단어 간의 Word Mover Distance) 및 구문 제약을 사용하여 Paraphrase-데이터(단어용 Paragram-SL999, 문장용 Para-nmt-50m)를 활용한다.
• 알고리즘: Joint Sentence and Word Paraphrasing(Algorithm 1), Greedy Sentence Paraphrasing(Algorithm 2), Gradient-Guided Greedy Word Paraphrasing(Algorithm 3)을 제공한다.

실험 결과

연구 질문

• RQ1 이산 텍스트 공격을 부분모듈 최적화 보장으로 이어질 수 있는 집합 함수 최적화 문제로 형상화할 수 있는가?
• RQ2 일반적인 텍스트 분류기(WCNN, RNN)에 대해 공격 목표가 부분모듈성인지 어떤 조건에서인지?
• RQ3 그래디언트 가이드 탐욕적 탐색이 기존 베이스라인에 비해 공격 효율성 및 효과를 개선하는가?
• RQ4 의미를 보존하는 패러프레이징을 적대적 텍스트 생성에 통합하되 공격 성공을 해치지 않는 방법은 무엇인가?
• RQ5 제안된 방법들이 가짜 뉴스 탐지, 스팸 필터링, 감정 분석 등 텍스트 분류 태스크에 일반화되는가?

주요 결과

• 여러 텍스트 분류기에 대해 공격 목표 f가 특정 모델링 가정 하에서 단조롭고 부분모듈성임이 확인되어 탐욕 방법으로 (1-1/e) 근사를 가능하게 한다.
• 그래디언트 가이드 탐욕적 단어 패러프레이징은 그래디언트 노름이 큰 단어를 우선시하여 고-impact 교체를 효율적으로 식별한다.
• 문장 및 단어의 공동 패러프레이징은 단어 단위 방법 대비 공격 성공률을 데이터셋과 모델 전반에서 크게 향상시킨다.
• 제안된 방법이 가짜 뉴스 탐지, 스팸 필터링, 감정 분석 과제에서 베이스라인보다 공격 성공성이 높았고, 교체 수가 적은 경우에도 정확도 감소가 크게 나타난다.
• WCNN 및 LSTM 모델에서 News, TREC07p, Yelp 데이터셋에 대해 결과의 동등성이 확인되었고, 이전 베이스라인과의 상세 비교가 제시된다.
• 저자들은 공격의 재현 코드를 오픈 소스로 제공한다(온라인).