[논문 리뷰] Black-Box Ripper: Copying black-box models using generative evolutionary algorithms

Antonio Bărbălau, Adrian Cosma외 2명|arXiv (Cornell University)|2020. 10. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 20

한 줄 요약

이 논문은 테이처 모델의 학습 데이터나 기울기 정보에 접근할 수 없음에도 불구하고 블랙박스 신경망 기능을 학생 모델에 휘발시키는 생성적 진화 프레임워크인 Black-Box Ripper를 제안한다. 프oxy 데이터셋에서 VAE를 훈련하고, 블랙박스 모델의 타깃 클래스에 대한 신뢰도를 높이기 위해 잠재 코드를 진화 전략으로 최적화함으로써, 데이터 없는 제로샷 지식 휘발에서 최신 기술을 초월하는 정확도를 달성한다. CIFAR-100 프oxy 설정에서 기존 기반 기반 기법보다 10.4% 높은 성능을 기록한다.

ABSTRACT

We study the task of replicating the functionality of black-box neural models, for which we only know the output class probabilities provided for a set of input images. We assume back-propagation through the black-box model is not possible and its training images are not available, e.g. the model could be exposed only through an API. In this context, we present a teacher-student framework that can distill the black-box (teacher) model into a student model with minimal accuracy loss. To generate useful data samples for training the student, our framework (i) learns to generate images on a proxy data set (with images and classes different from those used to train the black-box) and (ii) applies an evolutionary strategy to make sure that each generated data sample exhibits a high response for a specific class when given as input to the black box. Our framework is compared with several baseline and state-of-the-art methods on three benchmark data sets. The empirical evidence indicates that our model is superior to the considered baselines. Although our method does not back-propagate through the black-box network, it generally surpasses state-of-the-art methods that regard the teacher as a glass-box model. Our code is available at: https://github.com/antoniobarbalau/black-box-ripper.

연구 동기 및 목표

• 테이처 모델의 아키텍처, 학습 데이터, 기울기 정보에 접근할 수 없음에도 불구하고 블랙박스 신경망의 기능을 복제하는 방법을 개발하는 것.
• 실제 학습 데이터가 가용하지 않은 제로샷 환경에서 지식 휘발의 과제를 해결하는 것.
• 프록시 데이터와 진짜 데이터 분포 간의 분포 갭을 최소화하여 데이터 없는 휘발에서 성능을 향상시키는 것.
• API 수준 액세스와 진화 최적화만을 사용하여 블랙박스 모델이 효과적으로 역설계될 수 있음을 보여주는 것.
• 공개된 머신러닝 API의 취약성에 대한 경각심을 일깨우고 AI 보안 및 모델 보호 분야의 연구를 자극하는 것.

제안 방법

• 목표 블랙박스 모델과 다른 클래스를 가진 프록시 데이터셋에서 VAE를 훈련한다.
• 블랙박스 모델의 특정 타깃 클래스에 대한 신뢰도를 최대화하기 위해 VAE의 잠재 코드를 진화 전략으로 최적화한다.
• 생성된 이미지가 실제 이미지와 시각적으로 유사하지 않지만, 테이처 모델에서 높은 클래스 활성화를 보이며 효과적인 휘발 신호를 제공한다.
• 학생 네트워크를 훈련시킬 때는 생성된 이미지를 입력으로, 블랙박스의 출력 확률을 타깃으로 사용하여 지식 휘발을 수행한다.
• 진화 과정은 클래스 신뢰도 측면에서 이미지 품질을 점진적으로 향상시키며, 의미적 현실성보다는 텍스처 및 패턴 유사성에 초점을 맞춘다.
• 기울기는 오직 학생 네트워크를 통해만 역전파되며, 블랙박스 제약 조건을 유지한다.

실험 결과

연구 질문

• RQ1 학습 데이터나 아키텍처에 접근할 수 없음에도 불구하고 학생 모델이 블랙박스 분류기의 기능을 높은 정확도로 휘발시킬 수 있는가?
• RQ2 진화 전략이 블랙박스 모델의 타깃 클래스에 대한 신뢰도를 극대화하는 악성 유사 입력을 생성하는 데 얼마나 효과적인가?
• RQ3 다른 클래스와 분포를 가진 프록시 데이터셋이 효과적인 지식 휘발을 가능하게 할 수 있는 정도는 어느 정도인가?
• RQ4 제안된 방법이 테이처 모델에 대한 전체 액세스 권한을 가진 최신 기술 대비 슈퍼리어한 성능을 보일 수 있는가?
• RQ5 기울기 정보 없이도 최소한의 API 호출로 블랙박스 기능을 복제할 수 있는가? 이는 블랙박스 모델이 안전하다는 가정을 도전하는가?

주요 결과

• CIFAR-100(6개 클래스)를 프록시로 사용할 때, Black-Box Ripper는 94.7%의 정확도를 기록하여 최신 기술 대비 10.4% 높은 성능을 달성했다.
• 10 Monkey Species 데이터셋에서 불모래원숭이 클래스에 대해 99.98%의 신뢰도를 기록했으며, 생성된 이미지가 의미적으로 유사하지 않음에도 불구하고 높은 신뢰도를 유도했다.
• 제거 분석을 통해 진화 전략이 프록시와 진짜 데이터 간의 분포 갭을 크게 줄여 휘발 성능을 향상시킨다는 것이 확인되었다.
• 테이처 모델을 역전파하는 최신 기술 기반 기반 방법보다도 프레임워크가 뛰어난 성능을 보이며, 블랙박스 접근 방식의 효과성을 입증했다.
• 한 시나리오에서 원본 블랙박스와 학생 모델 간 정확도 격차가 3.2%에 그쳐, 높은 정밀도의 복제를 의미한다.
• 시각적 분석 결과, 진화된 이미지가 의미보다는 텍스처 패턴에 의존하고 있음을 확인했으며, 이는 CNN의 텍스처 편향과 일치하지만 여전히 테이처 모델에서 높은 신뢰도를 유도한다.