[논문 리뷰] Data-Free Knowledge Distillation for Deep Neural Networks

Raphael Gontijo Lopes, Stefano Fenu외 1명|arXiv (Cornell University)|2017. 10. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 214

한 줄 요약

이 논문은 원래 학습 데이터에 접근하지 않고도 모델 메타데이터에서 학습 유사 데이터를 재구성하여 큰 신경망을 압축하는 데이터 없는 지식 증류(data-free knowledge distillation) 방법을 제시합니다.

ABSTRACT

Recent advances in model compression have provided procedures for compressing large neural networks to a fraction of their original size while retaining most if not all of their accuracy. However, all of these approaches rely on access to the original training set, which might not always be possible if the network to be compressed was trained on a very large dataset, or on a dataset whose release poses privacy or safety concerns as may be the case for biometrics tasks. We present a method for data-free knowledge distillation, which is able to compress deep neural networks trained on large-scale datasets to a fraction of their size leveraging only some extra metadata to be provided with a pretrained model release. We also explore different kinds of metadata that can be used with our method, and discuss tradeoffs involved in using each of them.

연구 동기 및 목표

• 원래 학습 데이터를 공개할 수 없거나 규모 제약으로 인해 보안상 이유로 인해 압축이 필요하다는 동기를 제공합니다.
• 활성화 기반 메타데이터를 사용하여 입력을 재구성하는 데이터 없이 증류 파이프라인을 제안합니다.
• 재구성 품질과 메타데이터 요구사항 간의 균형을 맞추기 위해 여러 활성화-레코드 전략을 탐구합니다.
• MNIST에서 CelebA로 확장 가능성을 다양한 모델 크기로 보여줍니다.

제안 방법

• 교사 모델을 학습시키고 각 계층의 활성화 기록을 메타데이터로 저장합니다.
• 저장된 활성화를 그래디언트 기반 역전도를 사용하여 일치시키도록 무작위 노이즈를 최적화하여 입력 데이터를 재생성합니다.
• 재구성 데이터에서 온도 스케일링된 활성화를 레이블로 사용하는 교사-학생 네트워크를 학습합니다(지식 증류).
• 다양한 활성화-레코드 전략 실험: 최상위 계층 통계, 모든 계층 통계, 그리고 스펙트럴(그래프 푸리에) 방법.
• 재구성 중 인터-레이어 다이나믹스를 보존하기 위해 드롭아웃을 고정하는 것을 선택적으로 수행합니다.
• 데이터셋과 모델 계열(MNIST 완전 연결형, MNIST LeNet-5, CelebA의 AlexNet)에서 성능을 평가합니다.

실험 결과

연구 질문

• RQ1 사전 학습된 모델을 원래의 학습 데이터에 접근하지 않고도 활성화 메타데이터만으로 압축할 수 있는가?
• RQ2 다양한 활성화-레코드 전략이 재구성 품질과 증류 정확도에 어떤 영향을 미치는가?
• RQ3 데이터 없는 증류를 위한 간단한 통계, 모든 계층, 스펙트럴 활성 표현 간의 트레이드오프는 무엇인가?
• RQ4 데이터 없는 증류가 대규모 데이터셋과 아키텍처로 확장될 수 있는가?
• RQ5 재구성 중 인터-레이어 다이나믹스를 가장 잘 보존하는 메타데이터는 무엇인가?

주요 결과

• 최상위 계층 통계만으로도 정확도가 다소 낮게 나타납니다(예: 전체 연결형 교사 모델에서 MNIST의 68.75%).
• 모든 계층 통계는 정확도를 향상시킵니다(예: MNIST FC에서 76.38%; LeNet-5 전체 재구성에서 MNIST에서 85.61%).
• 모든 계층 스펙트럼 및 계층 쌍 스펙트럼 방법은 가장 높은 정확도를 달성합니다(예: MNIST FC에서 89.41%와 91.24%; MNIST LeNet-5-half에서 90.28%와 92.47%).
• CelebA 실험은 데이터 없는 증류가 일부 설정에서 기준선에 근접하거나 이를 능가할 수 있음을 보여줍니다(예: All-Layers Spectral 77.56%의 AlexNet-half; Layer-Pairs Spectral 76.94%).
• 이 방법은 대규모 데이터셋과 모델에 확장되어 데이터 공개 제약이 있는 경우의 압축에 실용적임을 시사합니다.