[논문 리뷰] Unifying Regularisation Methods for Continual Learning

Frederik Benzing|arXiv (Cornell University)|2020. 06. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 4

한 줄 요약

이 논문은 이론적으로 근거가 있는 양적 개념인 피셔 정보 행렬의 제곱근을 모두 근사한다는 것을 보여줌으로써, 지속적 학습에서 주요한 정규화 방법 세 가지—탄성 가중치 통합(EWC), 시냅스 지능(SI), 메모리 인지 가능한 시냅스(MAS)—를 통합한다. 서로 다른 동기를 가졌음에도 불구하고 SI와 MAS는 이전에 알려지지 않은 SI의 편향 때문에 유사하게 작동하며, 저자들은 이러한 편향을 수정함으로써 SI의 성능을 뛰어넘는 개선된 방법인 두 번째 차수의 시냅스(SOS)를 제안한다. 이는 대용량 배치 학습에서 뛰어난 성능을 보인다.

ABSTRACT

Continual Learning addresses the challenge of learning a number of different tasks sequentially. The goal of maintaining knowledge of earlier tasks without re-accessing them starkly conflicts with standard SGD training for artificial neural networks. An influential method to tackle this problem without storing old data are so-called regularisation approaches. They measure the importance of each parameter for solving a given task and subsequently protect important parameters from large changes. In the literature, three ways to measure parameter importance have been put forward and they have inspired a large body of follow-up work. Here, we present strong theoretical and empirical evidence that these three methods, Elastic Weight Consolidation (EWC), Synaptic Intelligence (SI) and Memory Aware Synapses (MAS), are surprisingly similar and are all linked to the same theoretical quantity. Concretely, we show that, despite stemming from very different motivations, both SI and MAS approximate the square root of the Fisher Information, with the Fisher being the theoretically justified basis of EWC. Moreover, we show that for SI the relation to the Fisher -- and in fact its performance -- is due to a previously unknown bias. On top of uncovering unknown similarities and unifying regularisation approaches, we also demonstrate that our insights enable practical performance improvements for large batch training.

연구 동기 및 목표

• 지속적 학습에서 주요한 정규화 방법 세 가지—EWC, SI, MAS—가 실제로나 이론적으로 얼마나 유사한가에 대한 오랫동안 남아있던 질문을 해결한다.
• 이전에 엄밀한 정당성이 없었음에도 불구하고 경험적으로 성공한 SI와 MAS의 효과성에 대한 이론적 기반을 제공한다.
• SI의 성능을 뒷받기는 원인인, 이전에 알려지지 않은 SI의 중요도 추정에 내재된 편향을 규명하고 이를 수정한다.
• SI의 기초 메커니즘을 수정한 이해를 바탕으로, 새로운 개선된 정규화 방법인 두 번째 차수의 시냅스(SOS)를 개발한다.

제안 방법

• 이론적 분석을 통해 SI의 중요도 측정 방식이 편향되어 있으며, 이러한 편향이 SI가 피셔 정보 행렬의 제곱근을 근사하게 만든다는 것을 밝힌다.
• 다양한 지속적 학습 벤치마크(예: Permuted MNIST, Split CIFAR-10/100)에서의 실증적 검증을 통해 SI와 MAS가 모두 피셔 정보 행렬의 제곱근을 매우 잘 근사한다는 것을 확인한다.
• SI의 중요도 추정에서 편향을 수정함으로써 더 정확한 파라미터 중요도 측정이 가능한 새로운 알고리즘인 두 번째 차수의 시냅스(SOS)를 제안한다.
• 이 방법은 SI의 중요도 점수를 재스케일링하는 단계를 통해 편향을 제거함으로써, 대용량 배치 학습에서의 안정성과 성능을 향상시킨다.
• 초기화, 하이퍼파rameter, 학습 기간을 철저히 통제한 조건에서 SI, SIU(편향이 제거된 버전), SIB(편향이 있는 버전), SOS를 다양한 데이터셋과 학습 설정에서 비교하는 실험을 수행한다.
• 이론적 및 실증적 분석을 통해 EWC가 대각 피셔 정보를 사용하는 것이 SI와 MAS가 근사하는 동일한 기초 양과 일관됨을 확인한다.

실험 결과

연구 질문

• RQ1 EWC, SI, MAS와 같은 세 주요 정규화 방법들이 이전에 상정된 것보다 실제로 더 유사한가?
• RQ2 다른 동기와 수식적 배경을 가졌음에도 불구하고 SI와 MAS의 효과성에 대한 이론적 근거는 무엇인가?
• RQ3 SI의 성능이 원래의 동기 때문이 아니라, 중요도 추정에서 내재된 편향 때문인가?
• RQ4 수정된 SI의 버전이 대용량 배치 학습에서 지속적 학습 성능을 향상시킬 수 있는가?
• RQ5 EWC, SI, MAS의 행동을 설명하는 통합된 이론적 양이 존재하는가?

주요 결과

• SI의 성능는 원래의 동기인 개별 파라미터의 손실 감소 기여도를 부여하는 것보다는, 중요도 추정에서 발생하는 이전에 알려지지 않은 편향에 의해 주로 이끌린다.
• SI와 MAS는 모두 피셔 정보 행렬의 제곱근을 근사하며, 이는 서로 다른 유도 과정을 거쳤음에도 불구하고 경험적으로 유사한 성능를 보이는 이유를 설명한다.
• 이론적 통합을 통해 EWC, SI, MAS가 모두 동일한 기초 양—피셔 정보—와 연결되어 있음을 보여주며, 이는 이들의 효과성에 대한 공통된 이론적 기반을 제공한다.
• SI의 편향을 수정한 새로운 알고리즘인 두 번째 차수의 시냅스(SOS)는 Split CIFAR-10/100과 같은 표준 벤치마크에서 SI를 능가하는 성능을 보였다.
• 실증 결과는 학습 기간, 초기화 방식(예: Glorot vs. PyTorch 기본값), 하이퍼파rameter 설정이 성능에 상당한 영향을 미치며, 특히 정규화 기반 방법에서 장기적인 학습이 성능 향상에 크게 기여한다는 것을 보여준다.
• Permuted MNIST에서 200 에포크의 학습을 통해 SI의 성능을 98%까지 향상시킬 수 있었고, 20 에포크일 경우 90%에 그치는 것으로 나타나, 학습 기간의 중요성을 강조한다.