[논문 리뷰] Student Surpasses Teacher: Imitation Attack for Black-Box NLP APIs

Qiongkai Xu, Xuanli He외 3명|arXiv (Cornell University)|2021. 08. 29.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 블랙박스 NLP API를 대상으로 한 새로운 암시적 공격 기법을 제안하며, 비지도 도메인 적응과 다중 피해자 모델 앙상블을 활용하여 이전 도메인으로 이식된 도메인에서 원래의 피해자 API를 뛰어넘는 공격 모델을 훈련시킨다. 이 방법은 실제 응용 환경에서 공격자가 블랙박스 모델을 뛰어넘을 수 있음을 입증하며, 기존의 모델 추출 한계에 대한 가정에 도전한다.

ABSTRACT

Machine-learning-as-a-service (MLaaS) has attracted millions of users to their splendid large-scale models. Although published as black-box APIs, the valuable models behind these services are still vulnerable to imitation attacks. Recently, a series of works have demonstrated that attackers manage to steal or extract the victim models. Nonetheless, none of the previous stolen models can outperform the original black-box APIs. In this work, we conduct unsupervised domain adaptation and multi-victim ensemble to showing that attackers could potentially surpass victims, which is beyond previous understanding of model extraction. Extensive experiments on both benchmark datasets and real-world APIs validate that the imitators can succeed in outperforming the original black-box models on transferred domains. We consider our work as a milestone in the research of imitation attack, especially on NLP APIs, as the superior performance could influence the defense or even publishing strategy of API providers.

연구 동기 및 목표

• 암시적 공격이 이식된 도메인에서 원래의 블랙박스 모델을 뛰어넘는 모델을 생성할 수 있는지 조사하기 위해.
• 이전 공격가 피해자와 동일한 도메인에서만 성공하는 데에 한계가 있다는 문제를 해결하기 위해.
• 다수의 피해자 API에서의 예측을 통합함으로써 얻을 수 있는 성능 향상 잠재력을 탐색하기 위해.
• 실제 상용 API와 도메인 이동 조건을 포함한 현실적인 조건에서 제안된 공격의 효과성을 평가하기 위해.
• 하드 레이블링과 레이블 노이즈와 같은 방어 전략이 공격 성공에 미치는 영향을 평가하기 위해.

제안 방법

• 공격은 레이블이 없는 데이터로 대상 도메인에서 학생 모델을 미세조정하기 위해 비지도 도메인 적응(UDA)을 사용하여 피해자 API로부터의 지식을 이전한다.
• 학생 모델은 블랙박스 API를 쿼리하여 확보한 소프트 레이블(로짓)을 사용하여 고정밀도의 암시적 학습을 가능하게 한다.
• 다수의 피해자 API를 앙상블하여 공격 모델의 강건성과 일반화 능력을 향상시키며, 특히 분포 외 설정에서 유의미한 개선을 이룬다.
• 적응 과정에서 소스 도메인과 타겟 도메인 간의 분포 격차를 최소화하기 위해 도메인 정렬 기법을 적용한다.
• 공격 모델은 적대적 도메인 정렬과 일致성 정규화를 사용하여 엔드 투 엔드로 훈련되어 타겟 도메인에서의 성능을 향상시킨다.
• 공격 성공에 미치는 영향을 평가하기 위해 하드 레이블링과 피해자 출력에 대한 가우시안 노이즈 변형과 같은 방어 전략을 평가한다.

실험 결과

연구 질문

• RQ1 암시적 공격가 이식된 도메인에서 원래의 블랙박스 NLP API를 뛰어넘는 모델을 생성할 수 있는가?
• RQ2 다수의 피해자 API에서의 예측을 앙상블하면 개별 피해자보다 공격 모델의 성능이 향상되는가?
• RQ3 하드 레이블링과 레이블 노이즈와 같은 일반적인 방어 수단이 이 새로운 공격 패러다임에 얼마나 효과적인가?
• RQ4 소스 도메인과 타겟 도메인 간의 도메인 이동이 암시 모델의 성능 향상에 어느 정도의 영향을 미치는가?
• RQ5 제안된 공격가 실생활 상용 NLP API를 실용적 환경에서 성공적으로 뛰어넘을 수 있는가?

주요 결과

• 공격 모델은 타겟 도메인에서 SST-2 데이터셋에서 테스트 정확도 91.82%를 기록하여 개별 피해자 모델(예: 89.40% 및 87.92%)과 최고 성능를 보인 피해자 모델을 모두 뛰어넘었다.
• FST 데이터셋에서는 앙상블 공격 모델이 90.15%의 정확도를 기록하여 최고 성능의 피해자 모델(88.79%)을 뛰어넘었으며, 이식된 도메인에서의 성능 향상이 뚜렷하게 나타났다.
• 원거리 도메인, 예를 들어 영화 리뷰에서 금융 문서로의 이동에서는 성능 향상이 가장 두드러졌으며, 이는 공격 모델이 피해자 모델을 상당히 뛰어넘었다.
• 피해자 출력에 대한 하드 레이블링은 공격 성공률를 감소시켰지만, 공격 모델은 여전히 뛰어난 성능를 기록하여 이 방어 수단이 완전히 효과적이지 않음을 시사했다.
• 피해자 출력에 표준편차 σ = 0.5의 가우시안 노이즈를 적용하면 공격 성능가 저하되었지만, 피해자 모델 자체의 유용성에도 손상이 갔으며, 이는 방어 전략에서의 상충관계를 보여준다.
• 공격은 실생활 상용 NLP API를 감성 분류 및 기계 번역 작업 모두에서 성공적으로 뛰어넘었으며, 실용적 타당성을 입증했다.