[논문 리뷰] To Transfer or Not to Transfer: Misclassification Attacks Against Transfer Learned Text Classifiers

Bijeeta Pal, Shruti Tople|arXiv (Cornell University)|2020. 01. 08.

Topic Modeling참고 문헌 31인용 수 8

한 줄 요약

이 논문은 전이학습된 텍스트 분류기 대상으로 처음으로 악성 오분류 공격을 제안하며, 공개된 교사 모델(GloVe, BERT 등)에서 유도된 의도하지 않은 특징을 활용해 악성 예제를 생성한다. 백색 상자 접근 방식으로 교사 모델에 접근하고, 검은 상자 접근 방식으로 학생 모델에 접근하는 그레이박스 설정을 활용하여, IMDB에서는 97%의 공격 정확도, 패러디 뉴스 탐지에서는 78%의 공격 정확도를 달성하였다. 이는 새로운 단어-점수 및 길이 기반 공격 방법을 통해 이루어졌으며, 기존 방어 조치가 이러한 위협을 완화하지 못함을 보여준다.

ABSTRACT

Transfer learning --- transferring learned knowledge --- has brought a paradigm shift in the way models are trained. The lucrative benefits of improved accuracy and reduced training time have shown promise in training models with constrained computational resources and fewer training samples. Specifically, publicly available text-based models such as GloVe and BERT that are trained on large corpus of datasets have seen ubiquitous adoption in practice. In this paper, we ask, "can transfer learning in text prediction models be exploited to perform misclassification attacks?" As our main contribution, we present novel attack techniques that utilize unintended features learnt in the teacher (public) model to generate adversarial examples for student (downstream) models. To the best of our knowledge, ours is the first work to show that transfer learning from state-of-the-art word-based and sentence-based teacher models increase the susceptibility of student models to misclassification attacks. First, we propose a novel word-score based attack algorithm for generating adversarial examples against student models trained using context-free word-level embedding model. On binary classification tasks trained using the GloVe teacher model, we achieve an average attack accuracy of 97% for the IMDB Movie Reviews and 80% for the Fake News Detection. For multi-class tasks, we divide the Newsgroup dataset into 6 and 20 classes and achieve an average attack accuracy of 75% and 41% respectively. Next, we present length-based and sentence-based misclassification attacks for the Fake News Detection task trained using a context-aware BERT model and achieve 78% and 39% attack accuracy respectively. Thus, our results motivate the need for designing training techniques that are robust to unintended feature learning, specifically for transfer learned models.

연구 동기 및 목표

• 전이학습이 텍스트 분류 모델의 악성 오분류 공격에 취약성을 증가시키는지 조사하기.
• 공개된 교사 모델에서 학습한 의도하지 않은 특징을 활용하는 효율적이고 쿼리 수가 적은 공격 방법 개발하기.
• 기존 방어 조치(예: 피니튜닝, 드롭아웃, 악성 훈련 등)가 이러한 새로운 공격에 얼마나 견딜 수 있는지 평가하기.
• 의도하지 않은 특징(예: 문장 길이, 단어 존재 여부 등)이 학생 모델을 체계적으로 오도하는 데 어떻게 활용될 수 있는지 보여주기.

제안 방법

• 문맥 무관 단어 임베딩(예: GloVe)을 대상으로 하는 단어-점수 기반 공격을 제안하며, 영향도 모델을 사용해 각 단어의 분류 확률에 대한 기여도를 정량화한다.
• 학생 모델의 작업에 맞춰 훈련된 영향도 모델을 활용하여, 입력 크기와 관계없이 학생 모델에 대한 쿼리 수를 일정 수준으로 줄인다.
• 문맥 의존 모델(예: BERT)을 대상으로 하는 길이 기반 및 문장 기반 공격을 도입하며, 문장 길이 및 의미적 구조와 같은 특징을 악용한다.
• 교사 모델의 특징 공간을 활용해 학생 모델의 결정 경계를 근사함으로써, 제한된 쿼리 수로도 효율적인 악성 예제 생성이 가능하도록 한다.
• 스펠 체커 및 표준 악성 훈련과 같은 일반 방어 조치에 대해 강건한 공격을 설계한다.
• 이중 및 다중 클래스 설정에서 IMDB, 패러디 뉴스, Newsgroup 데이터셋을 대상으로 실증적 평가를 통해 공격 성공률를 검증한다.

실험 결과

연구 질문

• RQ1 전이학습된 텍스트 분류 모델에서 악성 예제를 생성하여 입력을 목표 클래스로 오분류할 수 있는가?
• RQ2 의도하지 않은 특징(예: 단어 존재 여부, 문장 길이 등)이 전이학습을 통해 학습된 학생 모델의 취약성에 어떤 영향을 미치는가?
• RQ3 표준 방어 조치(예: 피니튜닝, 드롭아웃, 악성 훈련 등)가 이러한 전이 기반 오분류 공격을 어느 정도 완화할 수 있는가?
• RQ4 그레이박스 위협 모델을 활용해 전이학습된 텍스트 모델에 대해 효율적이고 쿼리 수가 적은 공격 방법을 설계할 수 있는가?

주요 결과

• 제안된 단어-점수 공격은 GloVe 기반 전이학습을 사용한 IMDB 영화 리뷰 데이터셋에서 평균 97%의 공격 정확도를 기록했으며, 패러디 뉴스 탐지 작업에서는 80%의 정확도를 달성했다.
• 다중 클래스 Newsgroup 작업에서는 6개 클래스 설정에서 75%의 정확도, 20개 클래스 설정에서는 41%의 정확도를 기록하여 레이블 공간의 크기 변화에 대해 스케일러블함을 입증했다.
• BERT 기반 패러디 뉴스 탐지에 대한 길이 기반 공격은 78%의 공격 정확도를 기록했으며, 문장 기반 공격은 39%의 정확도를 기록하여, 문장의 구조적 특징에 취약함을 보여주었다.
• 문장 기반 공격는 BERT 임베딩 내부의 의미적 및 구조적 패턴을 악용하여, 문맥 의존 모델이 특징 기반 조작에 취약함을 시사했다.
• 악성 훈련, 드롭아웃, 피니튜닝과 같은 표준 방어 조치는 공격를 완화하지 못했으며, 이는 전이학습된 모델에 근본적인 취약성이 존재함을 시사한다.
• 영향도 모델을 활용함으로써 입력 길이와 무관하게 쿼리 효율적인 공격가능성을 확보하였으며, 이는 이전 방법 대비 요구되는 쿼리 수를 감소시켰다.