[논문 리뷰] Continual Learning with Guarantees via Weight Interval Constraints

Maciej Wołczyk, Karol J. Piczak외 6명|arXiv (Cornell University)|2022. 06. 16.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 기존의 경험 재생 없이도 치명적인 잊음( catastrophic forgetting)을 보장하는 새로운 지속적 학습 패러다임인 하이퍼직육면체 훈련(Hyperrectangle Training)을 제안한다. 매개변수 공간 내에서 신경망 가중치를 하이퍼직육면체로 제약함으로써 이를 실현한다. InterContiNet 알고리즘을 통한 간격 산술(interval arithmetic)을 활용해 이전 작업의 성능이 유지되며, 다항식 시간 최적화가 가능해져 경험 재생 없이도 강력한 잊음 통제를 달성한다.

ABSTRACT

We introduce a new training paradigm that enforces interval constraints on neural network parameter space to control forgetting. Contemporary Continual Learning (CL) methods focus on training neural networks efficiently from a stream of data, while reducing the negative impact of catastrophic forgetting, yet they do not provide any firm guarantees that network performance will not deteriorate uncontrollably over time. In this work, we show how to put bounds on forgetting by reformulating continual learning of a model as a continual contraction of its parameter space. To that end, we propose Hyperrectangle Training, a new training methodology where each task is represented by a hyperrectangle in the parameter space, fully contained in the hyperrectangles of the previous tasks. This formulation reduces the NP-hard CL problem back to polynomial time while providing full resilience against forgetting. We validate our claim by developing InterContiNet (Interval Continual Learning) algorithm which leverages interval arithmetic to effectively model parameter regions as hyperrectangles. Through experimental results, we show that our approach performs well in a continual learning setup without storing data from previous tasks.

연구 동기 및 목표

• 기존 지속적 학습 방법에서 치명적인 잊음에 대한 공식적 보장을 부족한 문제를 해결하기 위해.
• 제한된 매개변수 영역을 갖는 제약 최적화 문제로 지속적 학습을 재정의하기 위해.
• 과거 데이터를 저장하지 않고도 순차적 작업 간 성능 안정성을 보장하는 실용적인 훈련 방법을 개발하기 위해.
• 매개변수 공간을 하이퍼직육면체로 제한함으로써 NP-난이도 지속적 학습 문제를 다룰 수 있는 시간으로 축소하기 위해.
• 간격 제약이 잊음 통제를 가능하게 하면서도 유연성(plasticity)을 유지할 수 있음을 이론적이고 경험적으로 입증하기 위해.

제안 방법

• 기존 작업에 대한 유효한 해를 나타내는 하이퍼직육면체 내에서 모델의 매개변수 공간을 순차적으로 수축시키는 방식으로 지속적 학습을 공식화한다.
• 선형, 합성곱, ReLU 연산을 포함한 신경망 레이어를 거쳐 구간을 전파하는 데 간격 산술을 사용하는 InterContiNet 알고리즘을 도입한다.
• 손실의 미분 가능한 상한을 계산하기 위해 간격 산술을 적용하여 제약된 매개변수 영역 내에서 기울기 기반 최적화를 가능하게 한다.
• 각 작업에서 매개변수 영역을 잘라내어 새로운 하이퍼직육면체가 이전 것에 완전히 포함되도록 하여 잊음 통제를 강제한다.
• 평가에는 간격 중심을 사용하지만, 최악의 경우 경계는 간격 내 모든 점에서의 성능을 보장한다.
• 모든 유효한 매개변수 영역에서의 강건성을 확보하기 위해 손실 상한을 최소화하는 제약 최적화 목표를 사용한다.

실험 결과

연구 질문

• RQ1 경험 재생에 의존하지 않고도 지속적 학습에서 치명적인 잊음을 공식적으로 보장할 수 있는가?
• RQ2 매개변수 공간을 하이퍼직육면체로 제약함으로써 NP-난이도 지속적 학습 문제를 다항식 시간으로 축소할 수 있는가?
• RQ3 간격 산술이 딥 네트워크에서 순차적 작업 간 성능 경계를 유지하는 데 얼마나 효과적인가?
• RQ4 강한 간격 제약을 사용할 경우, 조기 유연성 붕괴( plasticity collapse) 또는 부드러운 정규화보다 빠른 잊음이 발생하는가?
• RQ5 제안된 방법은 새로운 작업을 효율적으로 학습하면서도 이전 작업의 성능을 유지할 수 있는가?

주요 결과

• InterContiNet는 가장 제한적인 설정에서도 새로운 작업을 성공적으로 학습하여, 간격 제약이 빠른 유연성 붕괴를 유발하지 않음을 입증한다.
• 20개의 작업을 가진 split-CIFAR-100에서 다른 매개변수 정규화 방법과 유사한 성능를 달성하며, 장기간의 순차적 학습에서도 안정성을 유지한다.
• 엄격한 간격 제약 조건 하에서도 모델은 새로운 작업을 학습할 능력을 유지하며, 일반적인 설정에서 유효한 매개변수 공간이 비퇴화(non-degenerate) 상태를 유지함을 시사한다.
• 이론적 분석을 통해 하이퍼직육면체 제약을 사용할 경우 문제의 계산 복잡도가 다항식 시간으로 감소함을 확인하여 계산적으로 타당함을 입증한다.
• 경험적 결과로 InterContiNet가 허용 가능한 가중치 범위 전체에서 성능가 경계가 보장되며, 잊음에 대한 경직된 보장을 제공함을 확인한다.
• 과거 데이터를 저장하지 않아도 지속적 학습 벤치마크에서 최신 기준 성능을 능가하거나 이를 충족시킨다.