[논문 리뷰] Zero-Shot Knowledge Distillation from a Decision-Based Black-Box Model

Zi Wang|arXiv (Cornell University)|2021. 06. 07.

Advanced Neural Network Applications참고 문헌 36인용 수 14

한 줄 요약

이 논문은 하드 레이블 예측만 반환하는 블랙박스 교사 모델에서 지식을 흡수하여 압축된 학생 네트워크를 훈련시키는 방법인 Zero-Shot Decision-Based Black-Box Knowledge Distillation (ZSDB3KD)을 제안한다. 결정 경계에서의 거리가 최대가 되도록 노이즈가 섞인 입력을 반복적으로 최적화함으로써, 훈련 데이터나 교사 모델의 파rameter에 접근하지 않더라도 강건한 허위 샘플을 생성하고, 이를 통해 소프트 레이블을 생성함으로써 효과적인 지식 흡수를 가능하게 한다. 이로 인해 AlexNet-Half를 사용할 때 CIFAR-10에서 59.46%의 정확도를 달성한다.

ABSTRACT

Knowledge distillation (KD) is a successful approach for deep neural network acceleration, with which a compact network (student) is trained by mimicking the softmax output of a pre-trained high-capacity network (teacher). In tradition, KD usually relies on access to the training samples and the parameters of the white-box teacher to acquire the transferred knowledge. However, these prerequisites are not always realistic due to storage costs or privacy issues in real-world applications. Here we propose the concept of decision-based black-box (DB3) knowledge distillation, with which the student is trained by distilling the knowledge from a black-box teacher (parameters are not accessible) that only returns classes rather than softmax outputs. We start with the scenario when the training set is accessible. We represent a sample's robustness against other classes by computing its distances to the teacher's decision boundaries and use it to construct the soft label for each training sample. After that, the student can be trained via standard KD. We then extend this approach to a more challenging scenario in which even accessing the training data is not feasible. We propose to generate pseudo samples distinguished by the teacher's decision boundaries to the largest extent and construct soft labels for them, which are used as the transfer set. We evaluate our approaches on various benchmark networks and datasets and experiment results demonstrate their effectiveness. Codes are available at: https://github.com/zwang84/zsdb3kd.

연구 동기 및 목표

• 교사 모델이 하드 레이블만 반환하는 决策 기반 블랙박스인 상황에서 지식 흡수의 과제를 해결하기 위해.
• 개인정보나 저장 제약으로 인해 훈련 데이터나 모델 파라미터에 접근이 불가능한 실세계 시나리오에서 지식 전이를 가능하게 하기 위해.
• 블랙박스 교사 모델에서 고품질의 허위 샘플을 생성하여 소프트 레이블을 구성함으로써, 0-샷 접근 방식을 개발하기 위해.
• 데이터 접근 가능 여부에 관계없이 벤치마크 데이터셋에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 모든 훈련 샘플의 강건성을 결정 경계에서의 거리로 측정하여 소프트 레이블을 구성하며, 기울기 방향을 추정하기 위해 반복적인 질의를 수행한다.
• 데이터에 접근할 수 없는 상황에서는 랜덤 노이즈를 최적화하여 결정 경계에서의 거리가 최대가 되도록 하여, 실제 훈련 데이터 분포를 시뮬레이션하는 허위 샘플을 생성한다.
• 블랙박스 교사 모델에 대한 다수의 질의를 통해 기울기 추정치를 확보하고, 이를 바탕으로 샘플을 결정 경계에서 멀어지도록 최적화한다.
• 다른 클래스에 대한 샘플의 상대적 강건성에 기반하여 소프트 레이블을 유도함으로써, 학생 네트워크의 표준 지식 흡수 훈련을 가능하게 한다.
• 실제 훈련 샘플은 적대적 또는 랜덤 샘플보다 본질적으로 더 강건하다는 사실을 활용한다.
• 화이트박스 파라미터 접근을 질의 기반 경계 추정으로 대체함으로써, 0-샷 KD를 블랙박스 환경으로 확장한다.

실험 결과

연구 질문

• RQ1 교사 모델이 하드 레이블만 반환하고, 모델 파라미터나 훈련 데이터에 접근할 수 없는 상황에서도 지식 흡수를 효과적으로 수행할 수 있는가?
• RQ2 클래스 확률에 접근할 수 없을 때, 决策 기반 블랙박스 교사 모델에서 소프트 레이블을 어떻게 구성할 수 있는가?
• RQ3 결정 경계에서의 거리가 최대가 되도록 최적화된 허위 샘플이 지식 흡수를 위해 진정한 데이터 분포를 효과적으로 대체할 수 있는가?
• RQ4 훈련 데이터와 교사 모델 파라미터에 접근이 불가능한 상황에서, 학생 모델의 성능은 표준 KD와 비교해 어떻게 되는가?

주요 결과

• CIFAR-10에서 AlexNet-Half를 사용할 때, ZSDB3KD는 훈련 데이터나 교사의 소프트맥스 출력에 접근하지 않아도 59.46%의 테스트 정확도를 달성하였으며, 무작위 노이즈 입력(13.53% 및 14.79%)보다 뛰어난 성능을 보였다.
• 훈련 데이터에 접근 가능한 경우, DB3KD는 FLOWERS102에서 경쟁 가능한 성능을 보이며, 제약 조건이 덜한 환경에서의 효과성을 입증하였다.
• 1000회 반복 후 생성된 허위 샘플은 시각적으로 유사하고 인식 가능했으며, 평균 이미지가 실제 데이터 분포와 유사하게 나타났다.
• 클래스당 1,000개의 허위 샘플만 사용하여도 MNIST에서 학생 모델은 94%의 테스트 정확도를 달성하였으며, 전체 접근이 가능한 표준 KD의 성능에 근접하였다.
• 반복 횟수와 샘플 수가 많아질수록 성능이 향상되었고, 클래스당 8,000개의 샘플에서 포화 상태에 도달함을 확인하여 확장 가능성을 입증하였다.
• 절단 분석을 통해 생성된 샘플의 품질과 학생 모델의 성능가 모두 최적화 단계 수와 사용된 허위 샘플 수에 강하게 의존한다는 점을 확인하였다.