[논문 리뷰] CPR: Classifier-Projection Regularization for Continual Learning

Sungmin Cha, Hsiang Hsu외 3명|arXiv (Cornell University)|2020. 06. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 32

한 줄 요약

CPR은 기존의 규제 기반 연속 학습 방법에 분류기 출력 엔트로피 규제 항을 추가하고, 이를 출력을 균일하게 투영하는 것으로 해석하며, 실험적으로 태스크 간의 안정성과 가소성을 향상시킨다.

ABSTRACT

We propose a general, yet simple patch that can be applied to existing regularization-based continual learning methods called classifier-projection regularization (CPR). Inspired by both recent results on neural networks with wide local minima and information theory, CPR adds an additional regularization term that maximizes the entropy of a classifier's output probability. We demonstrate that this additional term can be interpreted as a projection of the conditional probability given by a classifier's output to the uniform distribution. By applying the Pythagorean theorem for KL divergence, we then prove that this projection may (in theory) improve the performance of continual learning methods. In our extensive experimental results, we apply CPR to several state-of-the-art regularization-based continual learning methods and benchmark performance on popular image recognition datasets. Our results demonstrate that CPR indeed promotes a wide local minima and significantly improves both accuracy and plasticity while simultaneously mitigating the catastrophic forgetting of baseline continual learning methods. The codes and scripts for this work are available at https://github.com/csm9493/CPR_CL.

연구 동기 및 목표

• 폭 넓은 로컬 미니마를 통해 연속 학습에서의 재앙적 망각을 동기부여하고 해결한다.
• 분류기 출력의 엔트로피를 촉진하는 일반적인 규제 패치(CPR)를 도입한다.
• CPR을 균등 분포를 향한 정보 투영으로서의 이론적 해석을 제공한다.
• 표준 벤치마크에서 여러 규제 기반 CL 방법에 CPR을 적용하여 효과를 입증한다.
• 작업 및 도메인 전반에 걸쳐 안정성(망각)과 가소성(앞으로의 전달) 모두를 개선하는 CPR을 보여준다.

제안 방법

• CPR을 교차 엔트로피 손실, 출력들을 균등분포로 향하게 하는 KL-발산 항, 그리고 과거 가중치 규제 항의 합으로 정의한다.
• CPR을 균등 분포를 중심으로 하는 볼록 집합에 대한 분류기 출력의 I-투영으로 해석한다.
• KL 투영 프레임워크와 KL에 대한 피타고라스 유사 관계를 통해 접근 방식을 정당화한다.
• 여러 기본 규제 기반 CL 방법(EWC, SI, MAS, RWalk, AGS-CL)에 CPR을 적용하고 여러 데이터세트에서 평가한다.
• 제거 실험(ablation)과 특징 맵 시각화를 사용하여 CPR이 넓은 로컬 미니마와 강건성을 촉진하는 역할을 분석한다.
• PPO와 함께 CPR을 사용한 Atari 작업에서 연속 강화학습 실험까지 평가를 확장한다.

실험 결과

연구 질문

• RQ1 분류기 투영 규제 항을 추가하는 것이 표준 규제 기반 방법보다 연속 학습 성능을 향상시킨가요?
• RQ2 연속 작업 학습에서 CPR이 안정성(망각)과 가소성(앞으로의 전달)에 어떤 영향을 미치는가요?
• RQ3 CPR을 균등 분포를 중심으로 한 KL-볼에 대한 정보 투영으로 해석할 수 있으며, 이것이 그 효과에 대한 이론적 근거를 제공하는가요?
• RQ4 기존 CL 방법과 결합할 때 CPR이 다양한 데이터세트와 학습 도메인(감독 학습 및 강화 학습)에 걸쳐 효과적인가요?

주요 결과

• CPR은 테스트된 규제 기반 CL 방법 및 데이터셋 전반에서 평균 정확도를 일관되게 향상시킨다.
• CPR은 제시된 지표로 측정한 망각(안정성)을 줄이고, 가소성(앞으로의 전달)도 강화한다.
• 경험적 분석은 CPR이 기준 방법보다 더 넓은 손실 지형(넓은 로컬 미니마)을 만들었다고 보여준다.
• CPR은 KL-볼 내에서 분류기 출력들을 균등 분포로 투영하는 것으로 해석될 수 있으며, 그 이점에 대한 원칙적 설명을 제공한다.
• 앱레이션 연구는 첫 번째 작업부터 CPR을 적용하면 이후 작업에 강한 이점을 준다고 시사한다.