[논문 리뷰] Distillation Techniques for Pseudo-rehearsal Based Incremental Learning

Haseeb Shah, Khurram Javed외 1명|arXiv (Cornell University)|2018. 07. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 11

한 줄 요약

이 논문은 기존 모델 distillation에서 발생하는 편향을 수정하기 위해 AC-GAN의 보조 분류기를 활용해 소프트 레이블을 생성하는 지식 distillation 방법인 AC-Distillation을 제안한다. MNIST 및 CIFAR10에서의 실험 결과, AC-Distillation은 더 낮은 분산과 이전 클래스 지식의 더 나은 유지 능력을 보이며 표준 distillation 방법을 능가하며, 상태기반 복기 방법과 비슷한 성능을 달성하면서도 개인정보 보호를 유지한다.

ABSTRACT

The ability to learn from incrementally arriving data is essential for any life-long learning system. However, standard deep neural networks forget the knowledge about the old tasks, a phenomenon called catastrophic forgetting, when trained on incrementally arriving data. We discuss the biases in current Generative Adversarial Networks (GAN) based approaches that learn the classifier by knowledge distillation from previously trained classifiers. These biases cause the trained classifier to perform poorly. We propose an approach to remove these biases by distilling knowledge from the classifier of AC-GAN. Experiments on MNIST and CIFAR10 show that this method is comparable to current state of the art rehearsal based approaches. The code for this paper is available at https://bit.ly/incremental-learning

연구 동기 및 목표

• 원시 데이터를 저장하지 않고 생성 모델을 활용해 복기(rehearsal)를 수행함으로써, 증강 학습에서의 치명적인 기억 상실(catastrophic forgetting) 문제를 해결하고자 한다.
• GAN에 의해 생성된 샘플을 사용할 때 발생하는 분류기 distillation에서의 편향을 규명하고 이를 수정하고자 한다.
• 주 분류기가 아닌 AC-GAN의 보조 분류기를 사용해 소프트 레이블을 생성하는 새로운 distillation 방법을 제안하고자 한다.
• 기본 데이터셋에서 제안된 방법의 효과성을 평가하고, 기존의 distillation 및 복기 기반 접근법과 비교하고자 한다.
• AC-Distillation이 상태기반 복기 방법과 비슷한 성능을 달성하면서도 개인정보 보호를 유지할 수 있음을 입증하고자 한다.

제안 방법

• 기존의 표준 모델 distillation(구형 분류기가 소프트 레이블을 제공함)을 대체하여, AC-Distillation은 AC-GAN의 판별기에서 보조 분류기를 사용해 소프트 타겟을 생성한다.
• 각 학습 증강 단계에서, 실제 신규 데이터와 이전 클래스의 GAN 생성 샘플로 구성된 병합된 데이터셋을 사용해 모델을 훈련한다.
• 생성된 샘플의 소프트 레이블은 판별기의 보조 분류기에서 출력된 클래스 확률을 기반으로 유도된다.
• 신규 데이터에 대한 진짜 레이블과 이전 클래스 샘플에 대한 AC-GAN의 소프트 레이블을 조합하여 새로운 분류기를 훈련한다.
• 클래스 불균형과 기억 상실에 대한 내성적 저항성을 평가하기 위해 추론 시에 최근 근접 평균(Nearest Class Mean, NCM) 및 예시 평균(Mean of Exemplars, MoE) 규칙을 사용한다.
• 실험에서는 데이터 생성에 AC-GAN을 사용하고, 동일한 설정 하에 AC-Distillation을 표준 모델 distillation과 비교한다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델 distillation에서 발생하는 편향은 증강 학습에서 분류기 성능에 어떤 영향을 미치는가?
• RQ2 AC-GAN의 보조 분류기를 주 분류기 대신 사용할 경우 이러한 편향을 줄이고 성능을 향상시킬 수 있는가?
• RQ3 여러 학습 증강 단계 동안 정확도, 분산, 기억 상실 측면에서 AC-Distillation은 표준 모델 distillation보다 어떻게 다를까?
• RQ4 AC-Distillation은 MNIST와 같은 단순한 데이터셋에 국한되어 있는가, 아니면 CIFAR10과 같은 복잡한 데이터셋에서도 강력한 성능을 유지하는가?
• RQ5 AC-Distillation은 개인정보 보호를 유지하면서도 상태기반 복기 방법과 비슷한 성능을 달성할 수 있는가?

주요 결과

• MNIST에서 AC-Distillation은 표준 모델 distillation보다 분산을 크게 줄이고 정확도를 향상시키며, 특히 후속 학습 증강 단계에서 뚜렷한 성능 우위를 보였다.
• MNIST에서 AC-Distillation은 모든 증강 학습 세션에서 표준 모델 distillation을 능가했으며, 혼동 행렬을 통해 이전 클래스 지식의 더 나은 유지가 확인되었다.
• 모델 distillation 방법은 특히 초기에서 중간 증강 단계에서 이전 클래스의 기억 상실이 심각하게 나타나며, 이는 편향된 소프트 레이블 때문이었다.
• 클래스 수가 증가함에 따라 모델 distillation과 AC-Distillation 간의 성능 격차가 줄어들었으며, 이는 더 많은 데이터로 인해 편향 효과가 완화됨을 시사한다.
• CIFAR10에서는 AC-GAN이 데이터셋을 잘 모델링하지 못해 AC-Distillation의 성능이 열악했으며, 이는 더 고급 GAN 아키텍처가 복잡한 데이터에 필요함을 시사한다.
• 보다 우수한 GAN 아키텍처와 결합할 경우, AC-Distillation은 개인정보 보호를 유지하면서도 상태기반 복기 방법과 비슷한 성능을 달성한다.