[논문 리뷰] Stateful Detection of Model Extraction Attacks

Soham Pal, Yash Gupta외 2명|arXiv (Cornell University)|2021. 07. 12.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 10

한 줄 요약

이 논문은 기계학습 서비스로서의 기계학습(Machine-Learning-as-a-Service, MLaaS) 플랫폼 사용자의 쿼리 분포를 모니터링하여 모델 추출 공격을 탐지하는 상태 기반 이상 탐지 시스템인 VarDetect를 제안한다. 정상 쿼리 분포를 모델링하기 위해 수정된 변동형 오토인코더(Variational Autoencoder, VAE)를 활용함으로써, VarDetect는 합성, 적대적 편향, 문제 도메인 외 공격자 유형의 악성 쿼리 패턴을 탐지할 수 있으며, 특히 백색 상자 지식을 가진 적응형 공격자에 대해서도 효과적으로 작동하여 추출된 모델의 성능과 이식 가능성을 크게 떨어뜨린다.

ABSTRACT

Machine-Learning-as-a-Service providers expose machine learning (ML) models through application programming interfaces (APIs) to developers. Recent work has shown that attackers can exploit these APIs to extract good approximations of such ML models, by querying them with samples of their choosing. We propose VarDetect, a stateful monitor that tracks the distribution of queries made by users of such a service, to detect model extraction attacks. Harnessing the latent distributions learned by a modified variational autoencoder, VarDetect robustly separates three types of attacker samples from benign samples, and successfully raises an alarm for each. Further, with VarDetect deployed as an automated defense mechanism, the extracted substitute models are found to exhibit poor performance and transferability, as intended. Finally, we demonstrate that even adaptive attackers with prior knowledge of the deployment of VarDetect, are detected by it.

연구 동기 및 목표

• 기계학습 서비스로서의 기계학습(Machine-Learning-as-a-Service, MLaaS) 플랫폼에서 공격자가 블랙박스 API 쿼리를 통해 기밀 모델을 추출하는 증가하는 위협을 해결하기 위해.
• 공격자 데이터나 모델 가중치에 접근이 필요 없도록 하여 실무 환경에서의 구현이 가능한 탐지 메커니즘을 설계하기 위해.
• 합성, 적대적으로 변형된, 또는 문제 도메인 외의 입력을 사용하는 다양한 공격 전략에 대해 강력한 탐지 성능을 확보하기 위해.
• 탐지 시스템에 백색 상자 접근 권한을 가진 공격자가 쿼리를 수정하여 탐지를 회피하는 적응형 공격에 대한 내성을 평가하기 위해.
• VarDetect를 방어 수단으로 도입했을 때 추출된 대체 모델의 정확도와 이식 가능성이 감소함으로써 모델 기밀성과 비즈니스 모델을 보호할 수 있음을 입증하기 위해.

제안 방법

• VarDetect는 정상 사용자 쿼리의 잠재 분포를 학습하기 위해 수정된 변동형 오토인코더(Variational Autoencoder, VAE)를 사용하며, 사용자별 정상 행동을 모델링한다.
• 시스템은 쿼리 시퀀스를 추적하고 관찰된 쿼리 분포와 기대되는 쿼리 분포 간의 최대 평균 차이(Mean Discrepancy, MMD)를 계산함으로써 상태 기반 메커니즘을 사용해 들어오는 쿼리의 분포를 지속적으로 모니터링한다.
• MMD는 통계적 분산 측도로 사용되어 정상 쿼리 패턴에서의 이탈을 탐지하며, 이격도가 구성 가능한 임계값을 초과할 경우 경고를 발생시킨다.
• VAE는 정상 쿼리의 대표 샘플에 대해 피팅되어 데이터 다양체의 기초를 학습함으로써 정상 및 악성 쿼리 분포를 구분할 수 있도록 한다.
• 탐지 임계값은 조정 가능하여 보안 팀이 민감도와 임의 경고의 균형을 조절할 수 있으며, 높은 임계값은 저농도 또는 고영향 공격만을 탐지하도록 한다.
• 적응형 공격자에 대해서도 VarDetect는 효과적이며, 공격자가 악성 쿼리를 정상 쿼리처럼 보이게 하기 위해 반복적 FGSM 기반 편향을 사용하더라도 탐지 가능하다.

실험 결과

연구 질문

• RQ1 공격자 데이터에 접근이 필요 없이, 상태 기반 쿼리 분포 기반 모니터링 시스템이 합성, 적대적 편향, 문제 도메인 외 공격자 유형을 모두 탐지할 수 있는가?
• RQ2 VarDetect를 방어 수단으로 도입했을 때, 추출된 대체 모델의 성능과 이식 가능성은 얼마나 감소하는가?
• RQ3 백색 상자 지식을 가진 공격자가 정상 행동을 모방하기 위해 쿼리를 조작하는 적응형 공격자를 VarDetect가 탐지할 수 있는가?
• RQ4 쿼리 희석(즉, 악성 쿼리 사이에 정상 쿼리를 삽입하는 것)이 탐지 효능에 미치는 영향은 무엇이며, VarDetect는 이러한 회피 전략에 어떻게 반응하는가?
• RQ5 공격자가 기울기 기반 방법을 반복적으로 사용하여 쿼리를 편향시켜 MMD 점수를 낮출 경우, 시스템은 탐지 강성 유지를 어떻게 유지하는가?

주요 결과

• VarDetect는 F-MNIST, GTSR, SVHN 세 가지 이미지 분류 벤치마크에서 합성, 적대적 편향, 문제 도메인 외 공격자 유형을 모두 성공적으로 탐지한다.
• VarDetect를 방어 수단으로 도입했을 때, 추출된 대체 모델의 정확도가 크게 떨어진다: F-MNIST에서는 비방어 상태에서 78.74%에서 방어 상태에서 55.79%로 감소한다.
• GTSR 데이터셋의 경우, 비방어 상태에서 94.56%였던 추출 모델 정확도가 문제 도메인 외 공격자에 의해 방어 상태에서 37.94%로 감소하여 강력한 성능 저하를 보였다.
• 조금의 희석 요인(15%)이 적용된 경우에도 VarDetect는 δ = 0.25의 임계값으로 공격자를 탐지할 수 있으며, 5% 희석은 낮은 임계값에서만 탐지 가능함을 보여주며, 감도 조절이 가능함을 입증한다.
• 반복적 FGSM을 사용해 쿼리를 편향시키는 적응형 공격자도 탐지 회피에 실패한다. 그들의 편향된 샘플은 δ = 0.25에서 여전히 탐지 가능하며, 잠재 벡터의 3D PCA 투영을 통해 확인되었다.
• 백색 상자 공격자(VAE 인코더와 통계적 파ameter(µC, σC)에 대한 완전한 지식을 가진 자)에 대해서도 시스템은 효과적이며, 여러 차례의 FGSM 반복과 단계 크기에서 성공적인 회피가 관찰되지 않았다.