[논문 리뷰] HotFlip: White-Box Adversarial Examples for NLP

Javid Ebrahimi, Anyi Rao외 2명|arXiv (Cornell University)|2017. 12. 19.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 38

한 줄 요약

HotFlip는 원-핫 입력 벡터의 기울기를 기반으로 하는 원자적 토큰-뒤집기 연산을 사용하여 NLP 모델에 대해 효율적인 화이트박스 적대적 공격 방법을 제안한다. 이 방법은 최소한의 변형으로 빠르게 적대적 예제를 생성하여 모델의 정확도를 크게 떨어뜨리며, 단어 수준 분류기에서 의미 유지 제약 조건과 함께 적대적 훈련을 지원한다.

ABSTRACT

We propose an efficient method to generate white-box adversarial examples to trick a character-level neural classifier. We find that only a few manipulations are needed to greatly decrease the accuracy. Our method relies on an atomic flip operation, which swaps one token for another, based on the gradients of the one-hot input vectors. Due to efficiency of our method, we can perform adversarial training which makes the model more robust to attacks at test time. With the use of a few semantics-preserving constraints, we demonstrate that HotFlip can be adapted to attack a word-level classifier as well.

연구 동기 및 목표

• 신경 분류기의 성능을 효과적으로 속이기 위한 NLP 모델에 대한 효율적인 화이트박스 적대적 예제 생성 방법을 개발하는 것.
• 실시간 적용이 가능한 계산 효율성을 확보하여 적대적 훈련을 가능하게 하는 것.
• 의미 유지 제약 조건을 통해 단어 수준 분류기로 공격를 적응시키는 것.
• 최소한의 변형—주로 토큰 교환에 국한하여—모델 정확도를 극적으로 감소시킬 수 있음을 입증하는 것.

제안 방법

• 원자적 뒤집기 연산을 사용하여 원-핫 입력 벡터의 기울기를 기반으로 한 토큰을 다른 토큰으로 교체한다.
• 기울기 기반 스코어링을 통해 오분류를 최대화하는 가장 효과적인 토큰 교환을 식별한다.
• 모델 최적화 중에 종단 간 적대적 훈련이 가능할 정도로 계산 효율성이 높다.
• 단어 수준 분류 작업에서 뒤집힌 토큰이 문맥적 일관성을 유지하도록 의미 유지 제약 조건을 적용한다.
• 이 방법은 문자 수준 및 단어 수준의 신경 분류기 모두에 적용 가능하다.

실험 결과

연구 질문

• RQ1 기울기 정보를 활용하여 NLP 모델에 대해 적대적 예제를 어떻게 효율적으로 생성할 수 있는가?
• RQ2 분류기 성능을 크게 떨어뜨리기 위해 필요한 최소한의 토큰 뒤집기 수는 얼마인가?
• RQ3 의미를 유지하면서 이 공격을 단어 수준 모델에 어떻게 적응시킬 수 있는가?
• RQ4 이 방법을 사용한 적대적 훈련이 모델 강건성 향상에 어느 정도 기여하는가?

주요 결과

• HotFlip 방법은 몇 차례의 토큰 뒤집기로만도 적대적 예제를 성공적으로 생성하여 모델 정확도가 극적으로 감소함을 입증하였다.
• 공격는 계산적으로 효율적이어서 실용적인 적대적 훈련을 통해 모델 강건성을 향상시킬 수 있다.
• 의미 유지 제약 조건을 통해 이 방법은 단어 수준 분류기로도 적응 가능하다.
• 기울기 기반 토큰 뒤집기는 최소한의 눈에 띄지 않는 변화로 모델 예측을 효과적으로 조작하는 데 뛰어난 성능을 보였다.