[논문 리뷰] Differentiable Language Model Adversarial Attacks on Categorical Sequence Classifiers

Ivan Fursov, Alexey Zaytsev외 3명|arXiv (Cornell University)|2020. 06. 19.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 4

한 줄 요약

이 논문은 미세조정된 마스킹 언어 모델을 사용하여 이산 카테고리 시퀀스 분류기 대상으로 미분 가능 적대적 공격 프레임워크인 DILMA를 제안한다. 서로서이 분류기 점수와 미분 가능한 레벤슈타인 거리의 조합으로 구성된 미분 가능한 손실 함수를 정의함으로써, DILMA는 적대적 훈련과 탐지에 강건하며 의미적으로 일관된 적대적 예제를 생성한다. 이는 자연어 처리, 헬스케어, 금융 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

An adversarial attack paradigm explores various scenarios for the vulnerability of deep learning models: minor changes of the input can force a model failure. Most of the state of the art frameworks focus on adversarial attacks for images and other structured model inputs, but not for categorical sequences models. Successful attacks on classifiers of categorical sequences are challenging because the model input is tokens from finite sets, so a classifier score is non-differentiable with respect to inputs, and gradient-based attacks are not applicable. Common approaches deal with this problem working at a token level, while the discrete optimization problem at hand requires a lot of resources to solve. We instead use a fine-tuning of a language model for adversarial attacks as a generator of adversarial examples. To optimize the model, we define a differentiable loss function that depends on a surrogate classifier score and on a deep learning model that evaluates approximate edit distance. So, we control both the adversability of a generated sequence and its similarity to the initial sequence. As a result, we obtain semantically better samples. Moreover, they are resistant to adversarial training and adversarial detectors. Our model works for diverse datasets on bank transactions, electronic health records, and NLP datasets.

연구 동기 및 목표

• 기본적인 기울기 기반 공격가 비가역성으로 인해 실패하는 이산 이산 카테고리 시퀀스 분류기 대상으로 효과적인 적대적 예제를 생성하는 문제를 해결하기 위해.
• 계산 비용이 많이 들고 종종 최적해가 아닌 토큰 수준의 이산 최적화의 한계를 극복하기 위해.
• 의미적 일관성을 확보하면서 효율적이고 고품질의 적대적 예제 생성을 위한 사전 학습된 언어 모델의 잠재력을 활용하는 방법을 개발하기 위해.
• 적대적 훈련 및 탐지 모델과 같은 적대적 방어 메커니즘에 대한 강건성을 확보하기 위해.
• 자연어 처리, 전자 의료 기록, 은행 거래 데이터 등 다양한 도메인에서 접근법을 검증하기 위해.

제안 방법

• 기본이 되는 손실 함수를 최적화하여 적대적 시퀀스를 생성하기 위해 트랜스포머 기반 마스킹 언어 모델(MLM)을 미세조정한다.
• 원본 및 적대적 시퀀스 간의 분류기 점수 차이와 이 둘 간의 근사 편집 거리의 가중치 합으로 구성된 미분 가능한 손실을 정의한다.
• 편집 거리의 미분 가능한 버전을 사용하여 기울기 호환 방식으로 시퀀스 유사도를 측정한다.
• 시퀀스 생성 과정에서 이산 토큰 생성에 기울기 역전파를 수행하기 위해 군필-소프트맥스 기법을 적용한다.
• 두 가지 공격 제도를 지원한다: 기초 생성을 위한 무작위 샘플링과 공격 성공률 향상을 위한 타겟 최적화.
• 작업에 특화된 훈련과 하이퍼파rameter 튜닝의 필요성을 줄이기 위해 강력한 사전 학습된 언어 모델을 활용한다.

실험 결과

연구 질문

• RQ1 기본 기반 최적화를 위한 기울기 기반 최적화를 가능하게 하는 미분 가능한 손실 함수를 설계할 수 있는가?
• RQ2 이산 시퀀스를 위한 적대적 예제에서 의미적 일관성과 최소한의 변형을 어떻게 유지할 수 있는가?
• RQ3 미세조정된 언어 모델이 적대적 훈련 및 탐지 메커니즘을 모두 회피할 수 있는 정도는 어느 정도인가?
• RQ4 다양한 데이터셋에서 공격 성공률 및 변형 품질 측면에서 기존 최첨단 공격 기법과 비교해 볼 때, 제안된 방법은 어떻게 성능을 내는가?
• RQ5 다양한 도메인에서 광범위한 튜닝 없이도 안정적인 성능을 내는 데에 적합한 하이퍼파rameter 설정은 무엇인가?

주요 결과

• Tr.Gender 데이터셋에서 DILMA는 WER 0.52를 기록하여 HotFlip(0.61)와 FGSM(0.34)를 능가했으며, 진짜 클래스에 대한 평균 확률 차이가 0.25로 강력한 오분류 능력을 보였다.
• SST-2 데이터셋에서 DILMA는 WER 0.60과 확률 차이 0.46을 기록하여 높은 공격 성공률를 확보하면서도 의미적 타당성을 유지함을 보였다.
• 샘플링을 사용한 DILMA(DILMA w/ sampling)는 TREC에서 WER 0.56과 확률 차이 0.41을 기록하여 다양한 NLP 데이터셋에서 뛰어난 성능을 보였다.
• 적대적 훈련 이후에도 DILMA는 Tr.Gender에서 평균 확률 차이 0.25, Tr.Age에서 0.27를 유지하여 표준 방어 기법에 대한 저항성을 보였다.
• 하이퍼파rameter 분석 결과, 일관된 설정으로 다양한 데이터셋에서 성능이 안정적이며, 광범위한 튜닝이 필요로 하지 않는다는 점을 확인했다.
• 특히 적대적 훈련 이후 평가에서 FGSM, DeepFool, HotFlip보다 WER 및 확률 감소 지표에서 모두 뛰어난 성능을 보였다.