[논문 리뷰] A Strategy for an Uncompromising Incremental Learner

Ragav Venkatesan, Hemanth Venkateswara외 2명|arXiv (Cornell University)|2017. 05. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 41

한 줄 요약

이 논문은 '유령 샘플링(phantom sampling)'을 사용한 엄격한 전략을 제안한다. 이는 생성 모델과 지식 정복을 통해 정확한 레이블을 가진 합성 데이터를 생성함으로써 치명적 망각(catastrophic forgetting)을 방지하는 방법이다. 이 방법을 통해 딥 네ural 네트워크는 과거 데이터에 접근하지 않고도 새로운 클래스를 학습할 수 있으며, 엄격한 증분 학습 조건 하에서 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Multi-class supervised learning systems require the knowledge of the entire range of labels they predict. Often when learnt incrementally, they suffer from catastrophic forgetting. To avoid this, generous leeways have to be made to the philosophy of incremental learning that either forces a part of the machine to not learn, or to retrain the machine again with a selection of the historic data. While these hacks work to various degrees, they do not adhere to the spirit of incremental learning. In this article, we redefine incremental learning with stringent conditions that do not allow for any undesirable relaxations and assumptions. We design a strategy involving generative models and the distillation of dark knowledge as a means of hallucinating data along with appropriate targets from past distributions. We call this technique, phantom sampling.We show that phantom sampling helps avoid catastrophic forgetting during incremental learning. Using an implementation based on deep neural networks, we demonstrate that phantom sampling dramatically avoids catastrophic forgetting. We apply these strategies to competitive multi-class incremental learning of deep neural networks. Using various benchmark datasets and through our strategy, we demonstrate that strict incremental learning could be achieved. We further put our strategy to test on challenging cases, including cross-domain increments and incrementing on a novel label space. We also propose a trivial extension to unbounded-continual learning and identify potential for future development.

연구 동기 및 목표

• 과거 데이터에 대한 접근이나 재학습을 금지하는 철저한 제약 조건 하에서 증분 학습을 재정의하기 위해.
• 핵심 가정을 완화하지 않고 다중 클래스 증분 학습에서 치명적 망각 문제를 해결하기 위해.
• 이미 학습된 클래스의 성능을 유지하면서도, 서로 다른 도메인 간에도 새로운 클래스를 학습할 수 있도록 하기 위해.
• 다중 증분을 포함한 제한된 지속적 학습(bounded-continual learning)으로 이 전략을 확장하기 위해.
• 교차 도메인 증분과 새로운 레이블 공간 등 도전적인 조건 하에서도 효과성을 입증하기 위해.

제안 방법

• 기존 클래스의 데이터를 합성하는 데 사용되는 훈련된 생성 모델(GAN)을 활용한 '유령 샘플링' 기법을 도입한다.
• 합성 샘플에 대해 소프트 레이블을 생성하기 위해 지식 정복을 사용하여, 올바른 클래스 분포가 유지되도록 한다.
• 실제 신규 데이터와 정복된 타겟을 가진 합성 유령 데이터의 조합으로 증분 분류기의 훈련을 수행한다.
• 기존 훈련 데이터에 대한 접근 없이도 유령 레이블링을 유지하기 위해 기본 네트워크의 복제본을 유지한다.
• 각 이전 증분마다 GAN과 유령 샘플러를 유지함으로써 제한된 지속적 학습에 이 방법을 확장한다.
• 단일 GAN을 모든 과거 분포에 적응시켜 장기 지속 학습에 이르는 확장 가능한 경로를 제안하지만, 이는 탐색적 수준에 머물러 있다.

실험 결과

연구 질문

• RQ1 기존 데이터에 접근하거나 재학습하지 않고도 증분 학습에서 치명적 망각을 효과적으로 완화할 수 있는가?
• RQ2 엄격한 데이터 막힘 및 도메인 무관성 제약 조건 하에서, 기존에 학습된 클래스의 높은 정확도를 유지하면서 새로운 클래스를 학습할 수 있는가?
• RQ3 유령 샘플링은 서로 다른 도메인 간, 예를 들어 MNIST에서 SVHN으로의 전이에 일반화될 수 있는가?
• RQ4 제한된 지속적 학습에서 다수의 증분에 대해 이 방법의 스케일링 능력은 어느 정도인가?
• RQ5 이 전략은 무한 지속 학습(unbounded-continual, 즉 생애 주기 학습)으로까지 확장될 잠재력이 있는가?

주요 결과

• 제안된 유령 샘플링 전략은 치명적 망각을 크게 감소시켜 과거 데이터에 접근하지 않아도 새로운 클래스에서 뛰어난 성능을 달성할 수 있게 하였다.
• MNIST에서 SVHN으로의 교차 도메인 증분에서, 이 방법은 기준 기반 접근 대비 20%의 성능 향상을 기록하였다.
• MNIST와 SVHN에서 세 번의 증분을 포함한 제한된 지속적 학습 환경에서, 모든 클래스에 대해 높은 정확도를 유지하였으며, 이전 증분에 의한 혼동은 최소한이었다.
• 이 방법은 새로운 레이블 공간에서의 학습에서도 강건성을 보이며, 원래의 레이블 분포를 초월한 일반화 능력을 입증하였다.
• 다수의 증분 이후에도 지속적 학습 환경에서 거의 최신 기술 수준의 정확도를 달성하였다.
• 단일이고 지속적으로 업데이트되는 GAN을 사용함으로써 생애 주기 학습으로의 확장은 원칙적으로 가능하나, 이는 향후 연구를 위한 열린 과제로 남아 있다.