[논문 리뷰] Model Compression with Generative Adversarial Networks

Ruishan Liu, Nicolò Fusi외 1명|arXiv (Cornell University)|2018. 09. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 6

한 줄 요약

이 논문은 생성적 적대적 네트워크를 사용하여 고성능 훈련 데이터를 합성함으로써 대규모 교사 모델로부터 지식 전이를 수행할 때 학생 모델의 정확도를 향상시키는 모델 압축 프레임워크 GAN-MC를 제안한다. 실제 데이터에 GAN으로 생성한 샘플을 보완함으로써 데이터의 다양성과 구분 능력을 향상시켜, 단순히 실제 데이터만을 사용하는 기준선 지식 전이 대비 우수한 압축 성능을 달성한다.

ABSTRACT

More accurate machine learning models often demand more computation and memory at test time, making them difficult to deploy on CPU- or memory-constrained devices. Model compression (also known as distillation) alleviates this burden by training a less expensive student model to mimic the expensive teacher model while maintaining most of the original accuracy. However, when fresh data is unavailable for the compression task, the teacher’s training data is typically reused, leading to suboptimal compression. In this work, we propose to augment the compression dataset with synthetic data from a generative adversarial network (GAN) designed to approximate the training data distribution. Our GAN-assisted model compression (GAN-MC) significantly improves student accuracy for expensive models such as deep neural networks and large random forests on both image and tabular datasets. Building on these results, we propose a comprehensive metric—the Compression Score—to evaluate the quality of synthetic datasets based on their induced model compression performance. The Compression Score captures both data diversity and discriminability, and we illustrate its benefits over the popular Inception Score in the context of image classification.

연구 동기 및 목표

• 실제 훈련 데이터를 보강 없이 재사용할 경우 발생하는 최적화되지 않은 모델 압축 문제를 해결한다.
• 실제 데이터 분포를 더 잘 반영하는 합성 데이터를 생성하여 지식 전이 과정에서 학생 모델의 정확도를 향상시킨다.
• 합성 데이터셋의 품질을 수치화하는 데 초점을 맞춘 종합적인 평가 지표인 압축 점수를 개발한다.
• 깊이 있는 신경망과 대규모 랜덤 포레스트를 포함한 다양한 모델 아키텍처와 이미지 및 표준형 데이터 유형에서 GAN 보강 데이터의 효과성을 입증한다.

제안 방법

• 교사 모델의 훈련 데이터 분포를 모델링하기 위해 GAN을 훈련시어, 실제 데이터 패턴을 모방하는 합성 샘플을 생성한다.
• 훈련된 GAN에서 생성한 합성 샘플을 원본 훈련 데이터셋에 추가하여 확장된 압축 데이터셋을 구성한다.
• 실제 데이터와 합성 데이터를 조합하여 학생 모델을 훈련시켜 교사 모델의 지식을 전이한다.
• 합성 데이터셋의 성능 향상 능력을 기반으로 학생 모델 정확도 향상을 평가하는 압축 점수를 도입한다.
• 압축 점수를 사용하여 기존의 Inception Score와 비교하여 합성 데이터의 품질을 평가하며, 특히 분류 능력과 다양성에 중점을 둔다.
• 효과적인 지식 전이를 위해 생성된 샘플이 다양하고 의미적으로 유의미한지 보장하기 위해 GAN 훈련 과정을 최적화한다.

실험 결과

연구 질문

• RQ1 실제 데이터가 제한되거나 재사용될 경우, GAN으로 생성한 합성 데이터가 학생 모델의 지식 전이 성능을 향상시킬 수 있는가?
• RQ2 압축 점수로 측정한 합성 데이터의 품질과 실제 모델 압축 성능 간의 상관관계는 어떠한가?
• RQ3 다양한 모델 아키텍처와 데이터 모odal 유형에서 GAN 보강 데이터가 기존의 실데이터만을 사용하는 표준 지식 전이 방식을 능가하는가?
• RQ4 합성 데이터 평가 작업에서 기존 메트릭인 Inception Score와 비교해 볼 때 압축 점수의 성능은 어떠한가?

주요 결과

• GAN-MC는 실데이터만을 사용하는 표준 지식 전이 대비 이미지 및 표준형 데이터셋에서 학생 모델의 정확도를 크게 향상시킨다.
• 제안된 압축 점수는 다양성과 분류 능력을 모두 측정함으로써 합성 데이터의 품질을 효과적으로 반영하며, 합성 데이터 평가에서 Inception Score를 능가한다.
• GAN를 통해 생성된 합성 데이터는 깊이 있는 신경망과 대규모 랜덤 포레스트와 같은 크고 복잡한 모델의 모델 압축 성능을 향상시킨다.
• 새로운 실데이터에 접근할 필요 없이도 학생 정확도 향상의 측정 가능한 성과를 달성하여 자원 제약이 있는 환경에 적합하다.
• 실험 결과 압축 점수는 실제 지식 전이 성능과 강한 상관관계를 보이며, 합성 데이터 품질 평가의 신뢰할 수 있는 대체 메트릭으로서의 유효성을 입증한다.