[논문 리뷰] Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion

Hongxu Yin, Pavlo Molchanov외 6명|arXiv (Cornell University)|2019. 12. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 75인용 수 48

한 줄 요약

DeepInversion은 사전 학습된 CNN에서 학습 데이터 없이 고충실도 클래스-조건 이미지들을 합성하여 데이터-프리 지식 이전, 가지치기, 그리고 연속 학습을 가능하게 한다; Adaptive DeepInversion은 교사-학생의 불일치를 활용해 이미지 다양성을 증가시킨다.

ABSTRACT

We introduce DeepInversion, a new method for synthesizing images from the image distribution used to train a deep neural network. We 'invert' a trained network (teacher) to synthesize class-conditional input images starting from random noise, without using any additional information about the training dataset. Keeping the teacher fixed, our method optimizes the input while regularizing the distribution of intermediate feature maps using information stored in the batch normalization layers of the teacher. Further, we improve the diversity of synthesized images using Adaptive DeepInversion, which maximizes the Jensen-Shannon divergence between the teacher and student network logits. The resulting synthesized images from networks trained on the CIFAR-10 and ImageNet datasets demonstrate high fidelity and degree of realism, and help enable a new breed of data-free applications - ones that do not require any real images or labeled data. We demonstrate the applicability of our proposed method to three tasks of immense practical importance -- (i) data-free network pruning, (ii) data-free knowledge transfer, and (iii) data-free continual learning. Code is available at https://github.com/NVlabs/DeepInversion

연구 동기 및 목표

• 학습 데이터가 없거나 비공개인 상황에서 데이터-프리 지식 이전을 촉진한다.
• 고정된 교사 네트워크에서 클래스-조건 이미지를 합성하기 위해 DeepInversion을 도입한다.
• 교사-학생 간의 불일치를 활용하여 Adaptive DeepInversion으로 이미지 다양성을 향상시킨다.
• CIFAR-10과 ImageNet에서 데이터-프리 가지치기, 데이터-프리 지식 이전, 데이터-프리 연속 학습을 시연한다.

제안 방법

• 무작위 노이즈에서 시작하여 학습된 CNN을 역전시켜 클래스-조건 이미지를 합성한다.
• 층별 배치 정규화 런닝 통계를 사용해 중간 특징 맵을 정규화하여 학습 데이터 통계를 일치시킨다.
• 합성된 이미지의 층별 평균과 분산을 BN 런닝 통계와 일치시키는 특징 분포 정규화기를 도입한다.
• Adaptive DeepInversion에서 Jensen-Shannon 발산에 기반한 경쟁 손실을 추가하여 교사-학생 불일치를 촉진하고 이미지 커버리지를 넓힌다.
• 합성된 이미지를 데이터-프리 가지치기, 데이터-프리 지식 이전, 데이터-프리 연속 학습 작업에 적용한다.
• 레이턴시를 필터 중요도에 반영하여 자원이 적은 환경에서도 성능을 유지하는 하드웨어 친화적 가지치기를 제공한다.

실험 결과

연구 질문

• RQ1 원래의 학습 데이터에 접근하지 않고도 고충실도 클래스-조건 이미지를 합성할 수 있는가?
• RQ2 데이터-프리 합성 이미지가 실제 데이터가 없이 지식 이전 및 가지치를 어느 정도까지 지원하는가?
• RQ3 Adaptive DeepInversion을 통한 학생-교사 루프 추가가 이미지 다양성과 다운스트림 작업 성능을 높이는가?
• RQ4 데이터-프리 지식 이전이 CIFAR-10 및 ImageNet에서 데이터셋 의존적 증류와 비교하여 어떤 차이가 있는가?
• RQ5 원본 데이터 없이 데이터-프리 방법으로 연속 학습이 가능한가?

주요 결과

• DeepInversion은 사전 학습된 네트워크의 BN 런닝 통계만을 사용하여 고충실도 클래스-조건 이미지를 생성한다.
• Adaptive DeepInversion은 교사–학생 불일치를 극대화하여 이미지 다양성을 추가로 향상시킨다.
• 데이터-프리 가지치기는 원래 데이터에 대한 의존도를 줄이면서도 경쟁력 있는 정확도와 지연 이점을 달성한다.
• 데이터-프리 지식 이전은 합성 데이터로 CIFAR-10에서 거의 교사 수준의 성능을, ImageNet에서 최소 손실로 상당한 정확도를 달성한다.
• 데이터-프리 연속 학습은 점진적 성능을 향상시키고 원본 데이터에 접근하는 오라클 방법에 근접한다.
• 전반적으로 이 접근법은 실제 이미지나 라벨을 필요로 하지 않는 실용적인 데이터-프리 응용을 가능하게 한다.