[논문 리뷰] Universal Adversarial Perturbation for Text Classification

Hang Gao, Tim Oates|arXiv (Cornell University)|2019. 10. 10.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 11

한 줄 요약

이 논문은 텍스트 분류기의 임bedding 공간에서 유니버설 적인 적대적 편향을 생성하는 방법을 제안한다. 여기서 하나의 작은 편향 벡터가 각 토큰에 동일하게 적용되어 최신 모델을 높은 확률로 오도한다. 이 방법은 다양한 NLP 작업에서 높은 오도율을 달성하면서도 의미적 이웃 관계를 유지하여, 심층 신경망이 최소한의 이식 가능 편향에 매우 취약함을 보여준다.

ABSTRACT

Given a state-of-the-art deep neural network text classifier, we show the existence of a universal and very small perturbation vector (in the embedding space) that causes natural text to be misclassified with high probability. Unlike images on which a single fixed-size adversarial perturbation can be found, text is of variable length, so we define the "universality" as "token-agnostic", where a single perturbation is applied to each token, resulting in different perturbations of flexible sizes at the sequence level. We propose an algorithm to compute universal adversarial perturbations, and show that the state-of-the-art deep neural networks are highly vulnerable to them, even though they keep the neighborhood of tokens mostly preserved. We also show how to use these adversarial perturbations to generate adversarial text samples. The surprising existence of universal "token-agnostic" adversarial perturbations may reveal important properties of a text classifier.

연구 동기 및 목표

• 심층 신경망 텍스트 분류기에 대해 다양한 입력과 작업에서 유니버설이고 작은 편향이 존재하는지 조사하기.
• 입력 샘플 길이에 관계없이 이러한 유니버설 적대적 편향을 계산하는 알고리즘 개발하기.
• 의미적 및 문법적으로 타당한 구조를 유지하면서 분류를 회피하는 적대적 텍스트 샘플 생성하기.
• 다양한 NLP 작업에서 최신 텍스트 분류기의 유니버설 편향에 대한 내성성 평가하기.

제안 방법

• 유니버설 적대적 편향을 모든 훈련 샘플에서 오분류 손실을 최대화하는 최적화 문제로 공식화하며, 작은 p-노름(여기서 p=2)으로 제약을 둔다.
• 편향 벡터 δ에 대해 기울기 상승을 사용하고, 정규화된 기울기를 통해 편향이 lp 노름의 ε 경계 내에 유지되도록 보장한다.
• 훈련 데이터의 미니배치를 반복적으로 사용하여 δ를 갱신하고, 각 단계 후에 lp 공내에 다시 투영하여 노름 제약을 유지한다.
• 편향은 입력 시퀀스의 각 토큰에 동일하게 적용되어 '토큰에 독립적'이 된다. 즉, 맥락과 관계없이 각 토큰마다 동일한 δ를 사용한다.
• 적대적 샘플은 각 토큰을 편향된 임베딩 공간에서의 가장 가까운 이웃으로 대체하여 생성되며, 편향된 벡터와의 코사인 유사도를 최대화한다.
• 모델은 Adam을 사용하여 훈련되며, 기울기를 정규화하고 검증 데이터에서 조기 정지 기법을 적용하여, 편향이 인식 불가능하도록 고정된 ε를 사용한다.

실험 결과

연구 질문

• RQ1 임베딩 공간에서 하나의 작은 편향이 다양한 입력과 작업에서 심층 신경망 텍스트 분류기를 유니버설하게 오도할 수 있는가?
• RQ2 의미적 이웃 관계를 유지하면서, 토큰에 독립적인 편향 전략이 얼마나 효과적으로 적대적 예제를 생성하는가?
• RQ3 높은 오도 성능을 달성하기 위해 필요한 최소한의 훈련 데이터는 얼마인가?
• RQ4 무작위 또는 어휘 기반 기준 편향과 비교했을 때, 제안된 방법의 오도율과 의미 유지 능력은 어떠한가?
• RQ5 이 편향은 다양한 NLP 작업과 모델 아키텍처 간에 얼마나 잘 이식 가능한가?

주요 결과

• 제안된 방법은 MRPC 작업에서 95.9%의 오도율을 달성하여, 랜덤 및 어휘 기반 기준 편향을 포함한 모든 기준보다 뛰어난 성능을 보였다.
• 훈련 데이터의 10%만으로도 SST-2에서 87.7%의 정확도를 달성하여, 높은 데이터 효율성과 확장 가능성을 보였다.
• MRPC에서 NI(V) 점수 0.959는 어휘 기반 기준보다 토큰의 이웃 관계를 더 잘 유지함을 보여주었다.
• ε를 0.2로 설정했을 때도 높은 오도 성능을 유지하여, 임베딩 노름 측면에서 편향이 인식 불가능함을 시사했다.
• 제안된 방법으로 생성된 적대적 샘플은 언어적으로 타당하며, 일관된 오분류를 유도한다. 표 5에서 보듯이, 문법적 변화만으로도 예측이 뒤바뀌었다.