[논문 리뷰] Momentum Adversarial Distillation: Handling Large Distribution Shifts in Data-Free Knowledge Distillation

Kien Do, Hung Lê외 6명|arXiv (Cornell University)|2022. 09. 21.

COVID-19 diagnosis using AIMedicine인용 수 18

한 줄 요약

이 논문은 데이터 프리 지식 정착에서 큰 분포 이탈을 완화하기 위해 생성자에 대한 지수이동평균(EMA) 복제본을 유지함으로써 지식 전이를 안정화시키는 모멘텀 적대적 정착(Momentum Adversarial Distillation, MAD)을 제안한다. 학생 모델을 현재 생성자와 EMA 생성자로부터 유도된 합성 데이터로 훈련시킴으로써, 치명적인 기억 상실을 감소시키고 ImageNet과 Places365를 포함한 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Data-free Knowledge Distillation (DFKD) has attracted attention recently thanks to its appealing capability of transferring knowledge from a teacher network to a student network without using training data. The main idea is to use a generator to synthesize data for training the student. As the generator gets updated, the distribution of synthetic data will change. Such distribution shift could be large if the generator and the student are trained adversarially, causing the student to forget the knowledge it acquired at previous steps. To alleviate this problem, we propose a simple yet effective method called Momentum Adversarial Distillation (MAD) which maintains an exponential moving average (EMA) copy of the generator and uses synthetic samples from both the generator and the EMA generator to train the student. Since the EMA generator can be considered as an ensemble of the generator's old versions and often undergoes a smaller change in updates compared to the generator, training on its synthetic samples can help the student recall the past knowledge and prevent the student from adapting too quickly to new updates of the generator. Our experiments on six benchmark datasets including big datasets like ImageNet and Places365 demonstrate the superior performance of MAD over competing methods for handling the large distribution shift problem. Our method also compares favorably to existing DFKD methods and even achieves state-of-the-art results in some cases.

연구 동기 및 목표

• 빠른 생성자 업데이트로 인해 학생 모델의 기억 상실이 발생하는 적대적 데이터 프리 지식 정착(DFKD)에서 큰 분포 이탈 문제를 해결하기 위해.
• 기존 훈련 데이터에 접근할 수 없더라도 대규모 데이터셋인 ImageNet과 같은 환경에서 DFKD의 지식 전이 안정성과 성능을 향상시키기 위해.
• 학생 모델이 생성자와 함께 공동 훈련하는 동안 기존 생성자 상태를 활용하여 치명적인 기억 상실을 감소시키기 위해.
• 새로운 손실 함수를 통해 잡음이 섞인 샘플을 억제하는 클래스 조건부 생성자를 사용하여 대규모 데이터셋에서 효과적인 DFKD를 가능하게 하기 위해.

제안 방법

• 기존 지식을 유지하고 분포 이탈을 줄이기 위해 생성자의 지수이동평균(EMA) 복제본을 유지한다.
• 주 생성자와 EMA 생성자로부터 생성된 합성 데이터로 학생 네트워크를 훈련시키며, 병합된 손실 함수를 사용한다.
• 노이즈 벡터와 클래스 임베딩을 입력으로 받는 클래스 조건부 생성자를 사용하여 대규모 데이터셋에서 샘플 품질을 향상시킨다.
• 새로운 손실 함수를 생성자에 도입하여 잡음이 섞인 해법을 억제하고 합성 데이터의 품질을 향상시킨다.
• 학생 손실 내에서 EMA 생성자로부터 유도된 샘플과 주 생성자로부터 유도된 샘플 간 기여도를 학습 가능한 계수를 통해 제어한다.
• 안정성과 적응성의 균형을 맞추기 위해 감쇠 하이퍼파rameter α를 사용한 모멘텀 기반 EMA 업데이트를 적용한다.

실험 결과

연구 질문

• RQ1 생성자의 EMA 복제본을 유지함으로써 데이터 프리 지식 정착에서 큰 분포 이탈 상황에서 치명적인 기억 상실을 줄일 수 있는가?
• RQ2 현재 생성자와 EMA 생성자로부터 유도된 합성 데이터를 모두 사용할 경우, 현재 생성자만 사용하는 것과 비교해 학생 성능에 어떤 영향을 미치는가?
• RQ3 새로운 손실 함수를 갖춘 클래스 조건부 생성자를 사용하면 ImageNet과 같은 대규모 데이터셋에서 효과적인 DFKD를 달성할 수 있는가?
• RQ4 학생 훈련 목표에서 현재 생성자로부터 유도된 데이터와 EMA 생성자로부터 유도된 데이터 간 최적의 균형은 무엇인가?
• RQ5 특히 도전적인 벤치마크에서 기존 최신 기술 수준(SOTA) 방법보다 MAD가 우월한 성능을 보일 수 있는가?

주요 결과

• MAD는 ImageNet과 Places365를 포함한 여러 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 데이터 프리 지식 정착 방법을 능가한다.
• CIFAR100에서 MAD는 λ₀ = λ₁ = 1.0일 때 최적의 계수 설정으로 64.05%의 테스트 정확도를 기록했으며, 계수 중 하나를 0으로 줄이면 성능이 떨어진다.
• 모멘텀 하이퍼파rameter α는 매우 중요한 영향을 미친다: α = 0.99일 때 성능이 최고에 이르며, α = 1.0일 때 급격히 감소함으로써 너무 느린 생성자 업데이트가 학습에 악영향을 준다는 것을 시사한다.
• 학생 업데이트 스텝 수를 늘일수록 성능이 향상됨을 확인하여, 더 많은 훈련 스텝이 교사 모델과의 지식 정렬을 향상시킨다는 것을 입증한다.
• 새로운 손실 함수를 갖춘 클래스 조건부 생성자는 대규모 데이터셋에서 안정적인 훈련을 가능하게 하며, 무조건적 생성자들은 잡음이 섞인 샘플로 인해 종종 실패하는 반면에 이를 방지한다.
• MAD는 EMA 생성자를 통해 학생이 과거 지식을 회상할 수 있도록 함으로써 치명적인 기억 상실을 감소시킨다. EMA 생성자는 주 생성자보다 빠른 분포 이탈에 덜 민감하기 때문이다.