[논문 리뷰] Online Coreset Selection for Rehearsal-based Continual Learning

Jaehong Yoon, Divyam Madaan외 2명|arXiv (Cornell University)|2021. 06. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 40

한 줄 요약

OCS는 미니배치 유사도, 샘플 다양성, 코어셋 친화도를 이용하여 재현 기반 연속 학습에서 온라인 코어셋 선택을 제안합니다. 각 반복마다 대표적이고 정보성이 높은 샘플을 선택하여 과제 적응을 개선하고 망각을 줄입니다.

ABSTRACT

A dataset is a shred of crucial evidence to describe a task. However, each data point in the dataset does not have the same potential, as some of the data points can be more representative or informative than others. This unequal importance among the data points may have a large impact in rehearsal-based continual learning, where we store a subset of the training examples (coreset) to be replayed later to alleviate catastrophic forgetting. In continual learning, the quality of the samples stored in the coreset directly affects the model's effectiveness and efficiency. The coreset selection problem becomes even more important under realistic settings, such as imbalanced continual learning or noisy data scenarios. To tackle this problem, we propose Online Coreset Selection (OCS), a simple yet effective method that selects the most representative and informative coreset at each iteration and trains them in an online manner. Our proposed method maximizes the model's adaptation to a current dataset while selecting high-affinity samples to past tasks, which directly inhibits catastrophic forgetting. We validate the effectiveness of our coreset selection mechanism over various standard, imbalanced, and noisy datasets against strong continual learning baselines, demonstrating that it improves task adaptation and prevents catastrophic forgetting in a sample-efficient manner.

연구 동기 및 목표

• 실제 데이터 조건(불균형, 노이즈)하에서 재현 기반 연속 학습에서 고품질 코어셋을 어떻게 선택할 것인가를 다룬다.
• 현재 작업의 관련성을 우선시하고 과거 작업에 대한 간섭을 최소화하는 온라인 그라디언트 기반 코어셋 선택 메커니즘을 개발한다.
• 현재의 재현 기반 CL 방법과 호환되면서도 단순하고 확장 가능한 방법을 제공한다.
• 균형 데이터, 불균형 데이터, 노이즈 데이터 구간에서의 견고성을 시연하고 기저 CL 방법들과의 협력을 보여준다.

제안 방법

• 현재 미니배치에서 데이터 포인트의 대표성을 측정하기 위한 세 가지 그라디언트 기반 선택 기준을 정의한다: 미니배치 유사도(S),
• 선택된 샘플 간 중복성을 줄이기 위한 샘플 다양성(V), 그리고
• 과거 작업 지식으로부터의 그래디언트 간섭을 최소화하기 위한 코어셋 친화력(A).
• tau*A를 통해 S + V + tau*A를 최대화하여 미니배치당 상위 k개 샘플을 선택하며, tau는 가소성과 안정성의 균형을 조절한다.
• 현재 작업에 대한 선택된 코어셋과 재생 버퍼 샘플로 학습하고, 현재 작업의 적응과 과거 작업의 재생을 균형 있게 조정하는 결합 손실로 모델을 업데이트한다( Equation 9 ).
• 미니배치당 온라인 코어셋 구성을 가능하게 하고, 고정 크기(J)의 재생 버퍼로 코어셋을 점진적으로 기억하도록 한다.

실험 결과

연구 질문

• RQ1 재현 기반 CL에서 현재 작업의 적응을 극대화하면서 과거 작업 지식을 보호하기 위해 코어셋을 온라인으로 어떻게 선택할 수 있는가?
• RQ2 그래디언트 기반 기준(유사도, 다양성, 친화도)이 현실적인 데이터 스트림에서 망각을 줄이고 대표적이며 중복되지 않는 코어셋을 산출하는가?
• RQ3 제안된 온라인 코어셋 선택(OCS) 방법이 불균형 및 노이즈 환경을 포함한 다양한 CL 벤치마크와 베이스라인과 호환되는가?

주요 결과

• OCS는 평균 정확도와 망각 측면에서 균형/불균형/노이즈가 있는 연속 학습 벤치마크에서 강력한 재현 기반 기준선보다 우수하다.
• OCS는 무작위 샘플이나 균일 샘플을 사용하는 대신 재생 버퍼를 선별적으로 큐레이션하여 샘플 효율적인 개선을 보여준다.
• OCS는 서로 다른 코어셋 크기에 대해서도 효과적이며 더 큰 에피소드 메모리 예산에서도 규모를 잘 확장한다.
• OCS는 기존 CL 방법과 호환되며 작업 적응을 공동으로 향상시키고 망각을 완화할 수 있다.
• 변인 제거 연구는 원시 입력 기반 기준선보다 그라디언트 기반 기준의 이점을 뒷받침한다.