[논문 리뷰] Incremental Classifier Learning with Generative Adversarial Networks

Yue Wu, Yinpeng Chen외 6명|arXiv (Cornell University)|2018. 02. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 98

한 줄 요약

점진적 classifier 학습 프레임워크를 제안하며, 새로운 손실 함수(교차 엔트로피 + 증류), 바이어스 제거, GAN 생성 과거 데이터를 결합하여 실제 과거 데이터에 의존하지 않고도 재앙적 망각을 완화합니다. CIFAR-100, Flower-102, MS-Celeb-1M-Base에서 경쟁력 있는 최신 결과 및 프라이버시와 확장성 강점을 보입니다.

ABSTRACT

In this paper, we address the incremental classifier learning problem, which suffers from catastrophic forgetting. The main reason for catastrophic forgetting is that the past data are not available during learning. Typical approaches keep some exemplars for the past classes and use distillation regularization to retain the classification capability on the past classes and balance the past and new classes. However, there are four main problems with these approaches. First, the loss function is not efficient for classification. Second, there is unbalance problem between the past and new classes. Third, the size of pre-decided exemplars is usually limited and they might not be distinguishable from unseen new classes. Forth, the exemplars may not be allowed to be kept for a long time due to privacy regulations. To address these problems, we propose (a) a new loss function to combine the cross-entropy loss and distillation loss, (b) a simple way to estimate and remove the unbalance between the old and new classes , and (c) using Generative Adversarial Networks (GANs) to generate historical data and select representative exemplars during generation. We believe that the data generated by GANs have much less privacy issues than real images because GANs do not directly copy any real image patches. We evaluate the proposed method on CIFAR-100, Flower-102, and MS-Celeb-1M-Base datasets and extensive experiments demonstrate the effectiveness of our method.

연구 동기 및 목표

• 과거 데이터가 사용 불가능할 때 점진적 분류기 학습에서 재앙적 망각 해결.
• 이전 샘플과 새로운 데이터에 대한 교차 엔트로피와 증류 손실을 효과적으로 결합하는 손실 함수를 개발.
• 검증 데이터에서 추정 가능한 간단한 바이어스 제거 매커니즘으로 과거/새로운 클래스의 균형 맞춤.
• 개 historical 데이터를 생성하고 대표 예제를 선택하여 실제 데이터를 대체하면서 프라이버시를 보존하기 위해 GAN을 사용합니다.

제안 방법

• 점진 학습을 n개에서 n+m개의 클래스로 확장하고 새로운 라벨 데이터 X^m를 사용하는 정의를 제시합니다.
• L = lambda L_d + (1 - lambda) L_c로, 오래된 샘플과 새로운 데이터에 걸친 증류 손실과 교차 엔트로피 손실을 결합하는 손실 함수를 제안합니다.
• 새로운 클래스 출력에 스케일링을 위한 바이어스 스칼라 beta를 도입하고 검증 세트에서 추정하여 과거/현재 클래스 바이어스를 제거합니다.
• G(z)가 오래된 데이터의 분포를 모델하도록 GAN을 학습시키고, 생성된 샘플 중 최대 클래스 확률이 임계값 theta보다 큰 샘플을 선택하여 f^n으로 라벨링합니다.
• 점진 학습 설정에서 실제 샘플을 GAN 생성 샘플로 대체하고 학습을 위해 동일한 손실 함수를 재사용합니다.]

실험 결과

연구 질문

• RQ1 다합 증류 및 교차 엔트로피 손실이 새로운 클래스를 학습하는 동안 이전 클래스 지식 유지에 도움이 될 수 있을까?
• RQ2 간단한 바이어스 제거 전략이 점진 학습에서 과거/새로운 클래스의 균형을 효과적으로 맞출 수 있을까?
• RQ3 GAN-생성 과거 데이터가 실제 예제를 대체하여 망각을 완화하는 데 효과적이면서 프라이버시 이점을 제공할 수 있을까?
• RQ4 예제 선택, 손실 균형, 바이어스 매개변수가 점진 학습 성능에 어떤 영향을 미치는가?
• RQ5 GAN 생성 데이터와 실제 예제 간의 성능 차이가 데이터셋 간에 얼마나 나타나는가?

주요 결과

• 제안된 손실 함수가 오래된 예제와 새로운 데이터로 학습할 때 CIFAR-100, Flower-102 및 MS-Celeb-1M-Base에서 LwF 및 iCaRL보다 우수합니다.
• 베타 스칼라를 통한 바이어스 제거가 과거/현재 클래스 간 바이어스를 검증 세트 및 테스트 세트 전반에 걸쳐 정확도를 일관되게 향상시킵니다.
• GAN 생성 과거 데이터가 경쟁력 있는 결과를 달성하고 예제가 없는 LwF를 능가하며 적절히 조정되면 실제 예제 성능에 근접합니다.
• Ours-Real(실제 예제 사용)로 CIFAR-100, Flower-102, MS-Celeb-1M-Base 전반에서 iCaRL보다 이득을 보이며 배치 설정(P=2,5,10,20)에서도 견고합니다.
• 극단적인 배치 설정에서 실제 예제를 사용하는 점진 학습은 배치 학습 상한에 근접하여 제안된 손실 및 바이어스 전략의 효과를 보여줍니다.