[논문 리뷰] Exploring Connections Between Active Learning and Model Extraction

Varun Chandrasekaran, Kamalika Chaudhuri외 3명|arXiv (Cornell University)|2018. 11. 05.

Adversarial Robustness in Machine Learning참고 문헌 74인용 수 24

한 줄 요약

이 논문은 Machine Learning-as-a-Service (MLaaS) 시스템에서 모델 추출을 공식화하며, 쿼리 생성 주도 학습과의 직접적 유사성에 기반하여, 주도 학습 기법이 효율적인 모델 추출 공격으로 재사용될 수 있음을 보여준다. 주요 기여는 예측 출력만을 제공하는 환경에서도 강력하고 저쿼리의 공격이 가능하다는 것을 입증하고, 데이터 기반 랜덤라이제이션은 유망한 방어 방향임을 제시한 것이다.

ABSTRACT

Machine learning is being increasingly used by individuals, research institutions, and corporations. This has resulted in the surge of Machine Learning-as-a-Service (MLaaS) - cloud services that provide (a) tools and resources to learn the model, and (b) a user-friendly query interface to access the model. However, such MLaaS systems raise privacy concerns such as model extraction. In model extraction attacks, adversaries maliciously exploit the query interface to steal the model. More precisely, in a model extraction attack, a good approximation of a sensitive or proprietary model held by the server is extracted (i.e. learned) by a dishonest user who interacts with the server only via the query interface. This attack was introduced by Tramer et al. at the 2016 USENIX Security Symposium, where practical attacks for various models were shown. We believe that better understanding the efficacy of model extraction attacks is paramount to designing secure MLaaS systems. To that end, we take the first step by (a) formalizing model extraction and discussing possible defense strategies, and (b) drawing parallels between model extraction and established area of active learning. In particular, we show that recent advancements in the active learning domain can be used to implement powerful model extraction attacks, and investigate possible defense strategies.

연구 동기 및 목표

• 예측(예측) 액세스 외에 신뢰도 점수 등의 보조 정보가 없는 MLaaS 시스템에서의 모델 추출을 공식화하기 위해.
• 제한된 쿼리 액세스와 모델에 대한 사전 지식이 없는 현실적인 제약 조건 하에서 모델 추출 공격의 가능성과 효율성을 조사하기 위해.
• 모델 추출과 주도 학습, 특히 쿼리 생성 프레임워크 간의 연결 고리를 탐색하여 기존 주도 학습 알고리즘을 공격 구축에 활용하기 위해.
• 모델 추출 공격에 대비한 잠재적 방어 전략을 식별하고 평가하기 위해, 특히 모델 랜덤라이제이션에 초점을 맞추어.
• MLaaS 시스템에 대한 모델 도용 공격에 대응하기 위한 기초 프레임워크를 구축하기 위해.

제안 방법

• 적대자가 모델을 재구성하기 위해 쿼리를 최소화하려는 활동적 학습자로 작동하는 쿼리 생성 주도 학습 문제로 모델 추출을 공식화함.
• 불확실성 샘플링 및 이견 기반 쿼리 기반 알고리즘과 같은 주도 학습에서 유래한 쿼리 생성 알고리즘을 모델 추출에 적용하기 위해 변형함.
• 정보가 풍부한 적대적 입력을 생성하여 쿼리당 정보 수확을 극대화하는 주도 학습 전략을 활용하여 반반평면 모델(이元분류기)에 대한 공격을 구현함.
• 모델 유사도(예: 진짜 반반평면과 추출된 반반평면 간 기하 오차)와 보류된 데이터에서의 일반화 오차를 통해 공격 성공도를 측정함.
• 적대자의 모델 재구성 능력을 방해하기 위해 데이터 기반 랜덤라이제이션(예: 모델 랜덤라이제이션)을 포함한 방어 전략 평가함.
• 주도 학습의 이론적 경계(예: 레이블 복잡도)를 활용하여 모델 추출 공격의 쿼리 효율성을 분석함.

실험 결과

연구 질문

• RQ1 주도 학습 기법은 예측 액세스만 제공하는 MLaaS 시스템에서 효율적인 모델 추출을 위해 효과적으로 재사용될 수 있는가?
• RQ2 모델 추출의 쿼리 복잡도는 수동 학습과 비교해 볼 때 어떻게 되며, 쿼리 전략의 선택은 어떤 역할을 하는가?
• RQ3 기존 주도 학습 알고리즘이 모델 추출에 적용될 때의 한계는 무엇인가? 특히 일반화 오차와 초기 데이터 가정 측면에서.
• RQ4 데이터 기반 랜덤라이제이션 방어는 모델 추출 공격을 얼마나 효과적으로 완화하는가?
• RQ5 모델 추출 공격는 선형 반반평면 모델을 초월하여 딥 네ural 네트워크나 랜덤 포레스트와 같은 비선형 모델로 어떻게 확장될 수 있는가?

주요 결과

• 모델 추출은 쿼리 생성 주도 학습 문제로 공식화될 수 있으며, 이는 고급 주도 학습 알고리즘을 활용해 모델 재구성에 필요한 쿼리 수를 최소화할 수 있음을 의미한다.
• 이론적 분석을 통해 모델 추출의 쿼리 복잡도는 원하는 정확도의 역수에 대해 로그에서 선형 범위까지 다양할 수 있으며, 이는 주도 학습에서 알려진 경계와 유사하다.
• 실험 결과는 쿼리 생성 기반 공격가 수동 방법보다 훨씬 적은 쿼리로 높은 모델 정밀도를 달성함을 보여주며, 특히 쿼리 생성이 적용된 경우에 두드러진다.
• 진짜 반반평면과 추출된 반반평면 간의 기하 오차는 모델 유사도의 강력한 지표이지만, 항상 일반화 오차와 완벽하게 상관되지는 않는다.
• 데이터 기반 랜덤라이제이션, 예를 들어 모델 랜덤라이제이션은 적대자의 모델 재구성 능력을 방해할 수 있는 매우 유망한 방어 수단으로 확인되었다.
• 이 논문은 모델 추출이 가능성뿐만 아니라, 적절한 쿼리 전략이 적용될 경우 매우 효율적임을 입증하며, MLaaS 시스템에서 더 강력한 방어 조치가 필요함을 시사한다.