[논문 리뷰] Regularization Shortcomings for Continual Learning

Timothée Lesort, Andrei Stoian외 1명|arXiv (Cornell University)|2019. 12. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 20

한 줄 요약

이 논문은 지속적 학습에서 정규화 기반 방법이 태스크 레이블이 추론 시 제공되지 않는 클래스 인크리멘탈 시나리오에서 태스크 간 클래스 구분을 학습하지 못함을 보여준다. 이론적 및 실험적 분석을 통해 정규화는 태스크 간 특징을 분리할 수 없으며, 가중치가 보호된 상태에서도 치명적인 기억 상실과 낮은 일반화 성능을 초래함을 입증한다.

ABSTRACT

In most machine learning algorithms, training data is assumed to be independent and identically distributed (iid). When it is not the case, the algorithm's performances are challenged, leading to the famous phenomenon of catastrophic forgetting. Algorithms dealing with it are gathered in the Continual Learning research field. In this paper, we study the regularization based approaches to continual learning and show that those approaches can not learn to discriminate classes from different tasks in an elemental continual benchmark: the class-incremental scenario. We make theoretical reasoning to prove this shortcoming and illustrate it with examples and experiments. Moreover, we show that it can have some important consequences on continual multi-tasks reinforcement learning or in pre-trained models used for continual learning. We believe that highlighting and understanding the shortcomings of regularization strategies will help us to use them more efficiently.

연구 동기 및 목표

• 정규화 기반 지속적 학습의 한계를 클래스 인크리멘탈 시나리오에서 조사하는 것.
• 정규화가 서로 다른 태스크의 클래스를 구분하는 데 실패함을 이론적 및 실험적으로 입증하는 것.
• 추론 시 태스크 레이블이 없을 경우 정규화 전략의 효과성이 저하됨을 보여주는 것.
• 다중 태스크 강화 학습 및 사전 학습 모델로 분석을 확장하여 더 넓은 함의를 제시하는 것.
• 태스크 간 특징 분리가 치명적인 기억 상실 이상의 근본적인 과제임을 주장하는 것.

제안 방법

• 학습 기간 동안만 태스크 레이블이 제공되는 클래스 인크리멘탈 지속적 학습 시나리오의 수식화.
• 정규화 방법을 이론적 관점에서 분석하여 정규화 항이 태스크 간에 불변임을 중점적으로 다룸.
• t-SNE 시각화를 통해 다양한 지속적 학습 전략(정규화 대비 복귀) 간 특징 공간의 분리 정도를 비교함.
• 이론적 주장의 타당성을 검증하기 위해 MNIST-Fellowship 벤치마크에서 실험을 수행함.
• 일부 태스크당 한 개의 클래스, 다중 태스크 강화 학습, 사전 학습 모델로 분석을 확장하여 결과의 일반화를 도모함.
• 정규화 전략과 복귀 기반 방법을 비교하여 특징 공간의 분리 정도에서의 차이를 부각함.

실험 결과

연구 질문

• RQ1 추론 시 태스크 레이블이 제공되지 않을 경우 정규화 기반 지속적 학습 방법이 서로 다른 태스크의 클래스를 구분할 수 있는가?
• RQ2 정규화가 태스크 간 구분을 가능하게 하지 못하는 이론적 근거는 무엇인가?
• RQ3 테스트 시 태스크 레이블이 없을 경우 정규화 전략의 성능에 어떤 영향을 미치는가?
• RQ4 일부 태스크당 한 개의 클래스 또는 다중 태스크 강화 학습 시나리오에서 정규화 방법이 얼마나 실패하는가?
• RQ5 초기 데이터나 정규화 항이 없는 상태에서 사전 학습 모델을 정규화를 통해 효과적으로 미세조정할 수 있는가?

주요 결과

• 정규화 방법은 추론 시 태스크 레이블이 없을 경우 클래스 인크리멘탈 시나리오에서 태스크 간 클래스 구분을 학습하지 못함.
• 이론적 분석을 통해 정규화 항이 태스크 간 특징 분리를 위해 충분한 인덕티브 바이어스를 제공하지 못함을 확인함.
• MNIST-Fellowship에서의 실험 결과 정규화 모델이 서로 다른 태스크의 클래스를 구분하지 못함을 확인함.
• t-SNE 시각화 결과 복귀 기반 전략만이 잠재 공간에서 서로 다른 태스크의 데이터를 명확히 분리함을 보여줌.
• 실패 원인이 치명적인 기억 상실뿐 아니라 과거 태스크에 대한 특징 선택이 부적절하기 때문임.
• 이러한 한계는 일부 태스크당 한 개의 클래스, 다중 태스크 강화 학습, 사전 학습 모델의 미세조정 시나리오로까지 확장되며, 초기 데이터나 정규화 항이 없을 경우 정규화는 지식 보호를 할 수 없음.