[논문 리뷰] Formalizing the Generalization-Forgetting Trade-off in Continual Learning

Krishnan Raghavan, Prasanna Balaprakash|arXiv (Cornell University)|2021. 09. 28.

Domain Adaptation and Few-Shot Learning인용 수 14

한 줄 요약

이 논문은 동적 프rogramming를 사용하여 지속적 학습에서 일반화-기억상실 간의 상충 관계를 이인자 순차 게임으로 공식화한다. 여기서 한 플레이어는 일반화 비용을 최대화하고, 다른 플레이어는 기억상실 비용을 최소화한다. 이 논문은 균형 잡힌 지속적 학습(Balanced Continual Learning, BCL)을 제안하며, 이는 두 목적 간에 안정적인 안장점(stable saddle point)을 달성하고, Split-MNIST 및 Permuted-MNIST와 같은 벤치마크 데이터셋에서 최신 기법들을 능가하거나 그에 맞추어진다.

ABSTRACT

We formulate the continual learning (CL) problem via dynamic programming and model the trade-off between catastrophic forgetting and generalization as a two-player sequential game. In this approach, player 1 maximizes the cost due to lack of generalization whereas player 2 minimizes the cost due to catastrophic forgetting. We show theoretically that a balance point between the two players exists for each task and that this point is stable (once the balance is achieved, the two players stay at the balance point). Next, we introduce balanced continual learning (BCL), which is designed to attain balance between generalization and forgetting and empirically demonstrate that BCL is comparable to or better than the state of the art.

연구 동기 및 목표

• 지속적 학습에서 일반화와 치명적 기억상실 간의 균형을 동적 프로그래밍을 사용하여 이론적으로 공식화하기.
• 다양한 작업 간에 일반화와 기억상실 간의 균형점이 존재하고 안정적인지 확인하기.
• 실제로 이러한 균형을 달성할 수 있는 체계적인 방법, 즉 균형 잡힌 지속적 학습(Balanced Continual Learning, BCL) 개발하기.
• BCL이 기존 최신 기법들보다 우수하거나 동등한 성능을 보임을 경험적으로 입증하기.
• 지속적 학습에서의 안정성-유연성 딜레마를 이해하기 위한 원칙적인 프레임워크 제공하기.

제안 방법

• 동적 프로그래밍과 벨먼의 최적성 원리를 사용하여 지속적 학습을 순차적 의사결정 문제로 공식화하기.
• 일반화와 기억상실 간의 상충 관계를 이인자 순차 게임으로 모델링: 플레이어 1은 일반화 비용을 최대화하고, 플레이어 2는 기억상실 비용을 최소화한다.
• 각 새로운 작업에 대해 일반화와 기억상실 간의 안장점이 존재함을 증명(정리 1)하고, 기울기 상승-하강 전략을 통해 그 안장점이 점점 수렴됨을 보여주는(정리 2) 증명.
• 균형 잡힌 지속적 학습(Balanced Continual Learning, BCL)을 도입하며, 이는 새로운 작업에서 일반화를 번갈아가며 최대화하고 이전 작업에서의 기억상실을 최소화하는 방식으로 작동한다.
• 일반화 비용은 새로운 작업 데이터에 대한 모델 훈련 및 평가를 통해 계산하고, 기억상실 비용은 저장된 이전 작업 데이터에 대한 평가를 통해 계산한다.
• 작업 메모리 버퍼에 대해 고정된 버퍼 크기 16,000개의 샘플을 사용하며, 경험 재생 기반 벤치마크와 일관되게 유지한다.

실험 결과

연구 질문

• RQ1 동적 프로그래밍 공식화 하에 지속적 학습에서 일반화와 기억상실 간에 안정적인 균형점이 존재하는가?
• RQ2 기울기 기반 최적화를 통해 일반화와 기억상실 간의 균형점이 점점 수렴되는가?
• RQ3 지속적 학습에서 일반화와 기억상실 간 최적의 상충 관계를 달성할 수 있는 체계적인 방법이 존재하는가?
• RQ4 제안된 BCL 방법은 최신 기술 수준의 지속적 학습 접근법과 성능 및 안정성 측면에서 어떻게 비교되는가?
• RQ5 안장점 최적화에 기반한 이론적 프레임워크는 실질적인 지속적 학습의 동역학을 정확히 반영하는가?

주요 결과

• 정리 1에 의해 각 새로운 작업에 대해 일반화와 기억상실 간에 안정적인 안장점이 존재함을 증명하였다.
• 정리 2에 의해 플레이어가 기울기 상승 및 하강 전략을 사용할 경우, 그 안장점이 점점 수렴됨을 보여주었다.
• 균형 잡힌 지속적 학습(Balanced Continual Learning, BCL)은 Split-MNIST 및 Permuted-MNIST 벤치마크에서 최신 기법들과 비교해도 성능이 유사하거나 뛰어나다.
• 동적 프로그래밍과 이인자 게임에 기반한 이론적 프레임워크는 지속적 학습에서의 안정성-유연성 상충 관계를 이해하는 데 탄탄한 기초를 제공한다.
• 클래스, 도메인, 작업 기반의 순차적 학습 시나리오에서의 경험적 결과는 BCL가 강력한 일반화 능력을 유지하면서도 치명적 기억상실을 최소화함을 확인한다.
• 비정상적인 데이터 분포와 분리된 출력 공간을 가진 다양한 지속적 학습 설정에서도 BCL는 뛰어난 강건성을 보였다.