[논문 리뷰] Using Hindsight to Anchor Past Knowledge in Continual Learning

Arslan Chaudhry, Albert Gordo외 3명|arXiv (Cornell University)|2020. 02. 19.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 재난적 기억 상실을 줄이기 위해 각 클래스별로 대표적인 '앵커' 데이터 포인트를 학습하는 이중 최적화 방법인 후회적 앵커 학습(Hindsight Anchor Learning, HAL)을 제안한다. 미래의 기억 상실을 후회적으로 시뮬레이션하고 이러한 앵커에 대해 예측이 불변이 되도록 강제함으로써, HAL은 여러 벤치마크에서 표준 경험 재생보다 정확도를 크게 향상시키고 기억 상실을 줄인다.

ABSTRACT

In continual learning, the learner faces a stream of data whose distribution changes over time. Modern neural networks are known to suffer under this setting, as they quickly forget previously acquired knowledge. To address such catastrophic forgetting, many continual learning methods implement different types of experience replay, re-learning on past data stored in a small buffer known as episodic memory. In this work, we complement experience replay with a new objective that we call anchoring, where the learner uses bilevel optimization to update its knowledge on the current task, while keeping intact the predictions on some anchor points of past tasks. These anchor points are learned using gradient-based optimization to maximize forgetting, which is approximated by fine-tuning the currently trained model on the episodic memory of past tasks. Experiments on several supervised learning benchmarks for continual learning demonstrate that our approach improves the standard experience replay in terms of both accuracy and forgetting metrics and for various sizes of episodic memories.

연구 동기 및 목표

• 지속적 학습에서 신규 작업에 노출될 때 기존에 습득한 지식을 신속히 상실하는 재난적 기억 상실 문제를 해결한다.
• 기존 경험 재생 방법의 한계를 극복하며, 과거 데이터를 저장하고도 여전히 심각한 기억 상실을 겪는 문제를 해결한다.
• 기존 작업에서 중요한 기억하기 어려운 예제를 식별하고 예측을 유지함으로써 기억 기반 지속적 학습을 향상시킬 수 있는 방법을 개발한다.
• 미래의 훈련에서의 기억 상실을 최대화하는 대표적인 앵커 포인트를 학습함으로써 일반화 능력과 안정성을 향상시킨다.
• 경험 재생과 새로운 앵커 목적 함수를 결합하여 표준 지속적 학습 벤치마크에서 최신 기술 성능을 달성한다.

제안 방법

• 기존 작업에서 학습된 앵커 포인트에 대한 예측이 불변이 되도록 하면서 현재 작업 손실을 동시에 최소화하는 이중 최적화를 사용한다.
• 현재 작업의 기억 상실 손실의 근사치를 최대화하기 위해 입력 공간에서 기울기 상승을 통해 앵커 포인트를 학습한다.
• 기존 작업의 에피소딕 메모리로 현재 모델을 미세조정하고 앵커 포인트에서의 성능 저하를 측정함으로써 기억 상실을 근사한다.
• 각 작업의 각 클래스당 하나의 앵커를 설정하며, 기억 상실이 가장 발생할 가능성이 높은 분류기의 결정 경계 근처에 위치시킨다.
• 경험 재생에 앵커 목적 함수를 통합하여, 모델이 현재 데이터와 에피소딕 메모리에서 훈련되며 앵커에 대한 예측이 유지되도록 한다.
• 내부 최적화 구조를 사용: 외부 루프는 현재 손실을 최소화하기 위해 모델 파라미터를 업데이트하고, 내부 루프는 기대 기억 상실을 최대화하기 위해 앵커 위치를 최적화한다.

실험 결과

연구 질문

• RQ1 기존 작업에서 기억하기 어려운 핵심 예제에 대한 예측을 식별하고 유지함으로써 경험 재생의 성능을 향상시킬 수 있는가?
• RQ2 미래의 기억 상실을 후회적으로 학습함으로써, 표준 재생 대비 더 나은 일반화와 기억 상실 감소를 달성할 수 있는가?
• RQ3 제안된 앵커 메커니즘은 다양한 에피소딕 메모리 크기와 지속적 학습 벤치마크에서 어떻게 성능을 발휘하는가?
• RQ4 이중 최적화를 통해 메모리 오버헤드를 증가시키지 않고도 모델 안정성을 향상시키는 대표적인 데이터 포인트를 효과적으로 학습할 수 있는가?
• RQ5 정확도 및 기억 상실 지표 측면에서 기존 정규화, 모듈러, 기억 기반 지속적 학습 접근법보다 성능이 뛰어나게 되는가?

주요 결과

• HAL은 표준 지속적 학습 벤치마크 네 곳에서 최신 기술 성능을 달성한다: MNIST 순열, MNIST 회전, 분할 CIFAR-100, 분할 miniImageNet.
• HAL은 모든 벤치마크에서 경험 재생 기반선 대비 정확도를 최대 7.5% 향상시키고 기억 상실을 약 23% 감소시켰다.
• HAL의 성능 향상은 1~5개의 예제를 클래스당 각 작업에 할당한 다양한 에피소딕 메모리 크기에서 일관되게 유지된다.
• 앵커는 분류기의 결정 경계 근처에 위치해 있어 기억 상실 위험이 높은 지점임을 확인했다.
• HAL은 EWC, ICARL, VCL, AGEM, MER, MIR와 같은 강력한 기준 모델보다 정확도와 기억 상실 감소 측면에서 뚜렷한 성능 향상을 보였다.
• 제거 실험 결과 앵커 목적 함수가 필수적임을 입증하였으며, 이를 제거하면 표준 경험 재생 대비 성능 저하가 발생한다.