[논문 리뷰] Large-Scale Generative Data-Free Distillation

Liangchen Luo, Mark Sandler외 3명|arXiv (Cornell University)|2020. 12. 10.

Advanced Neural Network Applications참고 문헌 54인용 수 28

한 줄 요약

이 논문은 기존 학습 데이터가 없이도 실질적인 훈련 데이터 없이 고품질의 합성 데이터 생성이 가능한 대규모 생성형 데이터 프리 없는 distillation 방법을 제안한다. 이 방법은 사전 훈련된 교사 네트워크의 배치 정규화 통계 및 로짓만을 사용하여 생성자를 훈련시키며, CIFAR-10에서 95.02%의 최고 성능을 기록하고 CIFAR-100에서는 77.02%를 달성한다. 또한 이론적으로는 생성형 설정에서 데이터 프리 방식으로 ImageNet에 처음으로 성공적으로 확장하였다.

ABSTRACT

Knowledge distillation is one of the most popular and effective techniques for knowledge transfer, model compression and semi-supervised learning. Most existing distillation approaches require the access to original or augmented training samples. But this can be problematic in practice due to privacy, proprietary and availability concerns. Recent work has put forward some methods to tackle this problem, but they are either highly time-consuming or unable to scale to large datasets. To this end, we propose a new method to train a generative image model by leveraging the intrinsic normalization layers' statistics of the trained teacher network. This enables us to build an ensemble of generators without training data that can efficiently produce substitute inputs for subsequent distillation. The proposed method pushes forward the data-free distillation performance on CIFAR-10 and CIFAR-100 to 95.02% and 77.02% respectively. Furthermore, we are able to scale it to ImageNet dataset, which to the best of our knowledge, has never been done using generative models in a data-free setting.

연구 동기 및 목표

• 기밀성, 보안 또는 저장 용량 제약으로 인해 원본 훈련 데이터에 접근할 수 없는 상황에서 지식 디스틸레이션의 과제를 해결하기 위해.
• 데이터 프리 환경에서 고해상도의 합성 데이터를 효율적이고 확장 가능한 방식으로 생성하기 위한 방법을 개발하기 위해.
• 기존 생성적 접근 방식에서 다루지 못한 대규모 데이터셋인 ImageNet에 대해 데이터 프리 디스틸레이션을 확장하기 위해.
• 생성자 훈련 중에 순간 일치 손실과 inceptionism 기반 최적화 목표를 함께 활용하여 디스틸레이션 성능을 향상시키기 위해.

제안 방법

• 사전 훈련된 교사 네트워크의 배치 정규화(BN) 레이어 통계(평균 μ 및 분산 σ²)만을 사용하여 생성자를 훈련한다.
• 생성 이미지의 BN 통계가 실제 훈련 데이터의 통계와 일치하도록 순간 일치 손실을 최적화한다.
• 생성 이미지에 대해 교사 네트워크의 타깃 클래스 예측 확률을 최대화하기 위해 inceptionism 손실을 적용한다.
• 각 클래스 또는 그룹별 통계로 훈련된 생성기의 앙상블을 사용하여 디스틸레이션에서 다양성과 성능을 향상시킨다.
• 실제 데이터 의존성을 피하기 위해, 등방성 정규 분포 가정 하에 교사 네트워크의 내재된 정규화 통계를 활용한다.
• 두 손실을 하나의 최적화 목표에 통합하여 현실적이며 클래스별로 특화된 합성 이미지를 생성함으로써 디스틸레이션에 활용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 교사 네트워크의 내부 통계만을 활용하여 실질적인 훈련 데이터 없이도 생성 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 생성 모델을 사용할 때 데이터 프리 디스틸레이션은 CIFAR-10/100과 같은 대규모 데이터셋에 얼마나 잘 확장될 수 있는가?
• RQ3 단일 생성기 대비 생성기 앙상블을 사용할 경우 디스틸레이션 성능에 어떤 영향을 미치는가?
• RQ4 다양한 학생 아키텍처는 교사 전용 생성기와 어떻게 상호작용하며, 디스틸레이션 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 데이터 프리 설정에서 표준 벤치마크인 CIFAR-10과 CIFAR-100에서 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 데이터 프리 디스틸레이션에서 CIFAR-10에서 95.02%, CIFAR-100에서 77.02%의 새로운 최고 성능을 기록하여 이전 방법들을 초월한다.
• ImageNet(32×32)에서 1,000개의 생성기 앙상블을 사용할 경우 디스틸레이션 정확도가 51.82%에 도달하여 지도 학습 기준선 대비 3.17% 이하의 격차를 보였다.
• ResNet-50 교사에서 ResNet-50 학생으로 디스틸레이션을 수행할 경우 교사 모델과의 정확도 격차가 5.70%로 줄어들어 강력한 지식 전이가 이루어졌음을 시사한다.
• 단일 생성기 훈련은 ImageNet 32×32에서 15.85%의 낮은 정확도를 기록하여 확장성을 확보하기 위해 앙상블의 필요성을 입증한다.
• 이 방법은 데이터 프리 디스틸레이션을 ImageNet에 성공적으로 확장하였으며, 저자들의 지식에 비추어 보면 이는 기존 생성 모델 기반 접근에서 달성되지 못한 바이다.
• 한 교사 모델에서 훈련된 생성기는 다른 교사-학생 구성에 대해 일반화 능력이 제한적이므로, 보편적인 생성기 설계가 필요하다는 점을 시사한다.