[논문 리뷰] White-to-Black: Efficient Distillation of Black-Box Adversarial Attacks

Yotam Gil, Yoav Chai외 2명|arXiv (Cornell University)|2019. 04. 04.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 8

한 줄 요약

이 논문은 화이트박스 적대적 공격(HotFlip)의 행동을 흡수하여 텍스트 분류 모델에 대해 적대적 예제를 생성하는 데 최대 39배 빠르게 하는 신경망 DistFlip을 제안한다. 기울기 기반 공격의 입력-출력 쌍을 기반으로 훈련함으로써 DistFlip은 공격 성공률를 유사하게 유지하면서도 효율적인_BLK-박스 공격을 가능하게 하였으며, 인간 검증을 통한 독성 유지 조건에서 Google Perspective API의 42%의 독성 레이블을 성공적으로 뒤집는 데 성공하였다.

ABSTRACT

Adversarial examples are important for understanding the behavior of neural models, and can improve their robustness through adversarial training. Recent work in natural language processing generated adversarial examples by assuming white-box access to the attacked model, and optimizing the input directly against it (Ebrahimi et al., 2018). In this work, we show that the knowledge implicit in the optimization procedure can be distilled into another more efficient neural network. We train a model to emulate the behavior of a white-box attack and show that it generalizes well across examples. Moreover, it reduces adversarial example generation time by 19x-39x. We also show that our approach transfers to a black-box setting, by attacking The Google Perspective API and exposing its vulnerability. Our attack flips the API-predicted label in 42\% of the generated examples, while humans maintain high-accuracy in predicting the gold label.

연구 동기 및 목표

• 화이트박스 공격에서의 지식을 흡수함으로써 NLP에서 적대적 예제를 생성하는 데 더 빠르고 효율적인 방법을 개발하기 위해.
• 기울기 접근이 없는 시스템에 대해 흡수된 모델의 행동을 전이함으로써 효과적인 블랙박스 공격을 가능하게 하기 위해.
• 반복 최적화 기반 방법에 비해 생성 시간을 극적으로 단축하면서도 높은 공격 품질을 유지하기 위해.
• 편집 후에도 적대적 예제가 의미적으로 독성이 유지되는지 확인하여 현실적인 위협 모델링을 보장하기 위해.

제안 방법

• 입력 문장과 그에 대응하는 적대적 변형 문장을 포함한 레이블이 부여된 예제를 사용하여, 화이트박스 공격(HotFlip)의 입력-출력 행동을 모방하는 신경망(DistFlip)을 훈련한다.
• 원본 및 변형된 입력 쌍에 대한 지도학습을 통해 모델 예측을 뒤바꾸는 최적의 문자 교체 전략을 학습한다.
• 적대적 예제의 전이 가능성 특성을 활용하여, Google Perspective API와 같은 블랙박스 모델에 대해 흡수된 모델을 적용한다.
• 기울기 추정 기반의 탐욕적 선택 과정을 사용하여 문장의 문자를 반복적으로 교체함으로써 타겟 모델의 예측이 변경될 때까지 공격을 수행한다.
• 주의 메커니즘과 기준 비교 방법(예: 무작위 문자 선택)을 사용하여 흡수된 모델의 효과성을 평가한다.
• 인간 평가를 통해 의미 유사성과 독성을 검증하여 편집된 예제가 의미적으로 의미 있고 독성이 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 기울기 접근이 없는 조건에서 신경망이 화이트박스 적대적 공격의 행동을 효과적으로 학습하고 일반화할 수 있는가?
• RQ2 흡수된 모델이 원래 화이트박스 방법에 비해 공격 품질을 어느 정도 유지하는가?
• RQ3 흡수된 모델이 실세계 시스템인 Google Perspective API와 같은 블랙박스 환경으로 성공적으로 전이 가능한가?
• RQ4 흡수된 모델이 생성한 적대적 예제가 인간 평가자 기준으로 의미적으로 독성이 유지되는가?

주요 결과

• DistFlip은 원래의 HotFlip 화이트박스 공격 대비 적대적 예제 생성 속도를 19배에서 39배 빠르게 하였으며, 유사한 성공률를 기록하였다.
• 흡수된 모델는 소스 모델의 예측을 뒤바꾸기 위해 평균 1.8회의 교체로 85%의 예제에서 성공했으며, 이는 HotFlip-10의 성능과 일치하였다.
• Google Perspective API에 적용한 결과, 테스트된 예제의 42%에서 독성 레이블을 '독성'에서 '비독성' 또는 '불확실'으로 성공적으로 뒤집는 데 성공하였다.
• 인간 평가자들은 공격을 당한 독성 문장의 87.6%를 독성으로 평가하였으며, 이는 모델의 잘못된 분류에도 불구하고 의미적 독성이 유지됨을 확인하였다.
• 흡수된 모델는 예제 간에 잘 일반화되며, 추론 시 소스 모델에 접근할 수 없더라도 높은 공격 품질을 유지한다.
• 주의 기반 또는 무작위 문자 교체와 같은 기준 방법에 비해 DistFlip은 속도와 효과성 면에서 모두 뛰어난 성능을 보였다.