[논문 리뷰] Dataset Distillation

Tongzhou Wang, Jun-Yan Zhu외 2명|arXiv (Cornell University)|2018. 11. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 21

한 줄 요약

이 논문은 대규모 학습 데이터셋을 고정된 모델을 사용해 훈련할 때 전체 데이터 훈련 성능에 가까운 성능을 달성할 수 있도록, 소수의 합성 이미지로 구성된 작은 데이터셋으로 압축하는 데이터셋 정련 기법을 소개한다. 실제 데이터의 일반화 행동을 모방하도록 합성 이미지 픽셀을 최적화하여, 고정 또는 무작위 가중치 초기화 조건에서도 단 몇 개의 경사 하강 스텝만으로도 높은 정확도(예: MNIST에서 94%)를 달성할 수 있다.

ABSTRACT

Model distillation aims to distill the knowledge of a complex model into a simpler one. In this paper, we consider an alternative formulation called dataset distillation: we keep the model fixed and instead attempt to distill the knowledge from a large training dataset into a small one. The idea is to synthesize a small number of data points that do not need to come from the correct data distribution, but will, when given to the learning algorithm as training data, approximate the model trained on the original data. For example, we show that it is possible to compress 60,000 MNIST training images into just 10 synthetic distilled images (one per class) and achieve close to original performance with only a few gradient descent steps, given a fixed network initialization. We evaluate our method in various initialization settings and with different learning objectives. Experiments on multiple datasets show the advantage of our approach compared to alternative methods.

연구 동기 및 목표

• 대규모 학습 데이터셋의 지식이 소수의 합성 데이터 포인트로 압축될 수 있는지 탐색하기 위해.
• 소수의 합성 이미지만을 사용하여 몇 개의 경사 하강 스텝 내에 높은 성능을 달성할 수 있는 빠른 모델 훈련을 가능하게 하기 위해.
• 고정, 무작위, 사전 훈련된 가중치 등 다양한 초기화 설정에서도 작동하는 방법을 개발하기 위해.
• 소수의 샘플에서의 도메인 적응 및 데이터 유해화 공격에의 적용을 보여주기 위해.
• 선형 모델 분석을 통해 딥 러닝에서의 데이터 압축 이론적 한계를 탐구하기 위해.

제안 방법

• 합성 훈련 데이터에 대한 모델 가중치를 합성 이미지 픽셀의 미분 가능한 함수로 설정하여, 픽셀 최적화를 위한 엔드 투 엔드 최적화를 가능하게 한다.
• 합성 데이터에서 훈련할 때와 전체 데이터셋에서 훈련할 때의 일반화 갭을 최소화하도록 합성 이미지 픽셀 값을 최적화한다.
• 두 단계 최적화를 사용: 먼저 합성 데이터에서 훈련하고, 그 다음에 실제 데이터로 미세 조정하여 일치도를 향상시킨다.
• 다중 에포크 훈련을 위한 연속된 정련된 이미지 시퀀스를 생성하기 위해 반복적 개선 과정을 도입한다.
• 모델의 정확한 초기 가중치에 접근할 필요 없이도 정련된 이미지를 생성할 수 있는 방법을 개발하여, 무작위 초기화된 네트워크에서도 사용 가능하게 한다.
• 악성 목적이 가능한 프레임워크를 변형하여, 한 번의 경사 하강 스텝 내에 대상 클래스를 잘못 분류하도록 유도하는 데이터 유해화 공격을 생성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 소수의 합성 이미지가 대규모 실데이터셋의 일반화 능력을 충분히 포괄할 수 있는가?
• RQ2 전체 데이터셋 대비 소수의 합성 이미지에서 훈련했을 때 모델 성능가 얼마나 유지되는가?
• RQ3 고정, 무작위, 사전 훈련된 가중치 등 다양한 초기화 전략에서 데이터셋 정련의 효과는 어떠한가?
• RQ4 SVHN과 MNIST 간의 소수의 샘플에서의 도메인 적응을 위해 정련된 이미지가 빠른 훈련을 가능하게 하는가?
• RQ5 최소한의 훈련 스텝으로도 효과적인 데이터 유해화 공격을 생성하는 데에 이 방법을 사용할 수 있는가?

주요 결과

• MNIST에서 10개의 정련된 이미지를 몇 개의 경사 하강 스텝 동안 훈련시켜 94%의 테스트 정확도를 달성했으며, 전체 데이터셋을 사용했을 때의 99%에 근접한 성능를 보였다.
• CIFAR10에서 100개의 정련된 이미지를 사용했을 때 고정 초기화 조건에서 54%의 정확도를 기록했으며, 전체 데이터셋을 사용했을 때의 80%에 비해 낮은 성능를 보였다.
• 무작위 초기화 조건에서 100개의 정련된 이미지를 사용해 몇 개의 경사 하강 스텝 내에 80%의 정확도를 달성하여, 가중치 변동에 대한 강건성을 입증했다.
• 도메인 적응의 경우, 100개의 정련된 이미지를 사용해 사전 훈련된 SVHN 모델을 MNIST에서 높은 정확도로 빠르게 미세 조정할 수 있었으며, 기존의 소수 샘플 적응 기반 방법보다 뛰어난 성능를 보였다.
• 데이터 유해화 공격의 경우, 단 한 번의 경사 하강 스텝으로도 대상 클래스를 잘못 분류하도록 유도하는 데 성공했으며, CIFAR10에서 기존의 기반 방법보다 뚜렷이 뛰어난 성능를 보였다.
• PASCAL-VOC와 CUB-200에서 클래스당 하나의 정련된 이미지를 사용했을 때 각각 70.75%와 38.76%의 정확도를 기록했으며, 전체 미세 조정 성능에 근접하는 결과를 얻었다.