[논문 리뷰] IDEAL: Query-Efficient Data-Free Learning from Black-box Models

Jie Zhang, Chen Chen외 1명|arXiv (Cornell University)|2022. 05. 23.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 블랙박스 교사 모델의 하드 레이블 출력만을 사용하여 학생 모델을 훈련하는 쿼리 효율적이고 데이터 없는 지식 증류 방법인 IDEAL을 제안한다. 데이터 생성과 모델 증류를 분리하고, 샘플당 교사 모델을 한 번만 쿼리함으로써 IDEAL은 이전 방법들에 비해 쿼리 비용을 50배 감소시키면서도 최신 기술 수준(SOTA) 성능을 달성하였으며, 쿼리 예산의 2%만으로 CIFAR-10에서 정확도를 5.83% 향상시켰다.

ABSTRACT

Knowledge Distillation (KD) is a typical method for training a lightweight student model with the help of a well-trained teacher model. However, most KD methods require access to either the teacher's training data or model parameters, which is unrealistic. To tackle this problem, recent works study KD under data-free and black-box settings. Nevertheless, these works require a large number of queries to the teacher model, which incurs significant monetary and computational costs. To address these problems, we propose a novel method called \emph{query-effIcient Data-free lEarning from blAck-box modeLs} (IDEAL), which aims to query-efficiently learn from black-box model APIs to train a good student without any real data. In detail, IDEAL trains the student model in two stages: data generation and model distillation. Note that IDEAL does not require any query in the data generation stage and queries the teacher only once for each sample in the distillation stage. Extensive experiments on various real-world datasets show the effectiveness of the proposed IDEAL. For instance, IDEAL can improve the performance of the best baseline method DFME by 5.83% on CIFAR10 dataset with only 0.02x the query budget of DFME.

연구 동기 및 목표

• 교사 데이터에 접근 불가, 모델 파라미터에 접근 불가, 하드 레이블 출력만 제공되며, 제한된 쿼리 예산이 있는 현실적인 조건에서 고성능 학생 모델을 훈련하는 데 도전하는 것.
• 실제 응용 분야(예: 상용 API)에서 비용이 많이 드는 블랙박스 교사 모델에 대한 쿼리 수를 줄이는 것.
• 최소한의 교사 모델 상호작용으로도 높은 성능을 유지하는 데이터 없는 지식 증류 프레임워크를 개발하는 것.
• 데이터 및 모델 접근이 제한된 환경에서 경량 학생 모델의 실용적 배포를 가능하게 하는 것.

제안 방법

• IDEAL은 데이터 생성 및 모델 증류의 두 단계로 학생 모델을 훈련하며, 데이터 생성 단계에서는 쿼리가 전혀 필요하지 않다.
• 증류 단계에서는 각 합성 샘플당 교사 모델을 한 번만 쿼리함으로써 쿼리 비용을 극적으로 감소시킨다.
• 기울기 추정 없이도 정보 손실과 교차 엔트로피 손실의 조합을 사용해 생성 네트워크를 훈련시켜 데이터를 합성한다.
• 각 훈련 에포크의 시작에 생성 네트워크를 재초기화하여 이전 생성 네트워크 상태에 의존하지 않도록 하여 안정적이고 효율적인 훈련을 가능하게 한다.
• 학생 모델은 합성 데이터와 함께 교사의 하드 레이블 예측 결과를 이용한 지식 증류를 통해 훈련된다.
• 데이터 생성 단계에서는 특성 다양성에 기여하는 $L_{infor}$와 클래스 구분에 기여하는 $L_{ce}$의 이중 손실 목표를 활용하여 고품질의 합성 샘플을 보장한다.

실험 결과

연구 질문

• RQ1 제한된 쿼리 수와 함께 블랙박스 교사 모델의 하드 레이블 출력만 제공될 때 학생 모델이 높은 성능을 달성할 수 있는가?
• RQ2 교사 모델의 파라미터나 훈련 데이터에 접근하지 않고도 고품질의 합성 데이터를 생성할 수 있는가?
• RQ3 모델 성능을 유지하면서도 교사 모델과의 상호작용을 최소화할 수 있는 훈련 프로세스는 어떻게 설계할 수 있는가?
• RQ4 데이터 없는 블랙박스 하드 레이블 환경에서 효과적인 데이터 생성과 증류를 위해 필수적인 구성 요소는 무엇인가?

주요 결과

• IDEAL은 쿼리 예산의 2%만 사용하면서도 최고의 베이스라인(DFME)보다 CIFAR-10 데이터셋에서 정확도를 5.83% 향상시켰다.
• 쿼리 예산 200K로도 IDEAL은 CIFAR-10에서 상위-1 정확도 63.77%를 달성하여, 1,000만 개의 쿼리가 허용된 DFME와 ZSDB3를 모두 능가했다.
• 시각화 결과 IDEAL는 DFME와 ZSDB3가 생성하는 저품질 또는 매우 유사한 샘플들과는 달리 더 다양하고 의미 있는 합성 데이터를 생성하는 것으로 나타났다.
• 절단 실험 결과 정보 손실($L_{infor}$)과 교차 엔트로피 손실($L_{ce}$)이 성능 향상에 필수적임을 확인하였으며, 이 둘을 제거할 경우 성능이 심각하게 저하되었다.
• 생성 네트워크 재초기화 전략은 필수적이며, 이를 제거할 경우 CIFAR-10에서 정확도가 10.9% 감소하여 훈련 안정성 향상에 기여하는 것으로 나타났다.
• 데이터 생성 단계에서 $E_{τ}$ 값이 균형 잡힌 상태일 때 최적의 성능을 달성하였으며, 너무 작거나 너무 큰 값은 성능 저하를 초래했다.