[논문 리뷰] Thieves of Sesame Street: Model Extraction on BERT-based APIs

Kalpesh Krishna, Gaurav Singh Tomar외 3명|arXiv (Cornell University)|2020. 01. 01.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 32

한 줄 요약

이 논문은 공격자가 랜덤 워드 시퀀스와 태스크별 히우리스틱을 사용하여 쿼리 전용 액세스만으로 BERT 기반 NLP 모델을 추출할 수 있음을 보여주며, 낮은 비용으로 피해자 모델에 근접한 성능을 달성함으로써 전이 학습에서의 심각한 취약성을 드러낸다. 또한 멤버십 분류와 워터마킹과 같은 방어 기법을 평가한 결과, 고도로 발전한 공격자에 의해 이를 우회할 수 있음을 확인하였다.

ABSTRACT

We study the problem of model extraction in natural language processing, in which an adversary with only query access to a victim model attempts to reconstruct a local copy of that model. Assuming that both the adversary and victim model fine-tune a large pretrained language model such as BERT (Devlin et al., 2019), we show that the adversary does not need any real training data to successfully mount the attack. In fact, the attacker need not even use grammatical or semantically meaningful queries: we show that random sequences of words coupled with task-specific heuristics form effective queries for model extraction on a diverse set of NLP tasks including natural language inference and question answering. Our work thus highlights an exploit only made feasible by the shift towards transfer learning methods within the NLP community: for a query budget of a few hundred dollars, an attacker can extract a model that performs only slightly worse than the victim model. Finally, we study two defense strategies against model extraction—membership classification and API watermarking—which while successful against some adversaries can also be circumvented by more clever ones.

연구 동기 및 목표

• API에 대한 쿼리 액세스만을 사용하여 BERT 기반 모델을 추출할 수 있는지 조사하기.
• 실제 학습 데이터가 NLP에서 성공적인 모델 추출을 위해 필수적인지 평가하기.
• 멤버십 분류와 API 워터마킹과 같은 방어 기법의 효과성을 평가하기.
• 전이 학습이 NLP에서 모델 추출을 위한 새로운 공격 표면을 어떻게 제공하는지 이해하기.

제안 방법

• 공격자는 의미 있는 또는 문법적으로 올바른 쿼리가 필요 없도록, 피해자 API에 입력으로 랜덤 워드 시퀀스를 생성한다.
• 기대되는 모델 출력을 바탕으로 쿼리 선택을 안내하기 위해 태스크별 히우리스틱을 적용하여 추출 효율을 향상시킨다.
• 공격자는 피해자 모델로부터 입력-출력 쌍을 수집하여 그 행동을 모방하는 로컬 서로가 모델을 훈련시킨다.
• 추출된 모델은 자연어 추론 및 질의 응답과 같은 후행 NLP 작업에서 평가된다.
• 두 가지 방어 전략을 시험한다: 추출 시도를 탐지하기 위한 멤버십 분류와 모델 복제를 추적하기 위한 API 워터마킹.
• 공격는 몇 백 달러 이내의 예산 제약 조건 하에서 평가되어 현실적인 자원 제약 조건을 반영한다.

실험 결과

연구 질문

• RQ1 실제 학습 데이터 또는 의미 있는 입력 시퀀스 없이도 쿼리 전용 공격자가 BERT 기반 모델을 추출할 수 있는가?
• RQ2 랜덤 워드 시퀀스가 고성능 NLP 모델을 추출하는 데 얼마나 효과적인가?
• RQ3 멤버십 분류와 워터마킹 방어 조치가 모델 추출 공격을 어느 정도 방지하는가?
• RQ4 고도로 발전한 공격자가 기존의 방어 메커니즘을 모델 추출 공격에서 우회할 수 있는가?

주요 결과

• 랜덤 워드 시퀀스와 태스크별 히우리스틱을 조합하면 다양한 NLP 작업에서 매우 효과적인 모델 추출이 가능하다.
• 실제 학습 데이터 없이도 추출된 모델은 피해자 모델과 몇 퍼cent 내외의 성능을 달성한다.
• 몇 백 달러 이내의 쿼리 비용으로도 모델 추출이 가능하여 실질적인 위협이 된다.
• 멤버십 분류와 워터마킹 방어 조치는 더 정교한 공격자에 의해 우회될 수 있다.
• 이 취약성은 주로 생산용 API에서 널리 사용되는 전이 학습 및 미세조정된 BERT 모델에서 기인한다.
• 결과적으로, 쿼리 기반 액세스를 통해 강력한 언어 모델에 접근하는 NLP 시스템에서 심각한 보안 격차가 존재한다는 점을 강조한다.