[논문 리뷰] Understanding Regularisation Methods for Continual Learning.

Frederik Benzing|arXiv (Cornell University)|2020. 06. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 6

한 줄 요약

이 논문은 지속적 학습에서 이론적이고 실증적인 분석을 통해 시냅스 지능(Synaptic Intelligence)과 메모리 인지 가능한 시냅스(Memory Aware Synapses)가 이론적으로 타당한 중요도 측정법인 페셔 정보(Fisher Information)의 스케일링된 버전을 근사하고 있음을 보여준다. 이는 시냅스 지능의 근사에서 발생하는 편향이 그 뛰어난 성능을 설명하며, 핵심 정규화 방법의 효과성을 통합하고 설명한다.

ABSTRACT

The problem of Catastrophic Forgetting has received a lot of attention in the past years. An important class of proposed solutions are so-called regularisation approaches, which protect weights from large changes according to their importances. Various ways to measure this importance have been put forward, all stemming from different theoretical or intuitive motivations. We present mathematical and empirical evidence that two of these methods -- Synaptic Intelligence and Memory Aware Synapses -- approximate a rescaled version of the Fisher Information, a theoretically justified importance measure also used in the literature. As part of our methods, we show that the importance approximation of Synaptic Intelligence is biased and that, in fact, this bias explains its performance best. Altogether, our results offer a theoretical account for the effectiveness of different regularisation approaches and uncover similarities between the methods proposed so far.

연구 동기 및 목표

• 지속적 학습에서 정규화 방법의 이론적 기반을 이해하기 위해.
• 시냅스 지능과 메모리 인지 가능한 시냅스와 같은 인기 있는 방법들이 이론적으로 타당한 중요도 측정법을 근사하는지 조사하기 위해.
• 정규화 방법의 성능에 영향을 미치는 근사 편향의 역할을 분석하기 위해.
• 공통된 이론적 기반과 연결하여 다양한 정규화 접근법을 통합하기 위해.

제안 방법

• 시냅스 지능과 메모리 인지 가능한 시냅스가 스케일링된 페셔 정보 행렬을 근사한다는 것을 보여주는 수학적 유도.
• 지속적 학습 시나리오에서 근사된 중요도 측정법과 진정한 페셔 정보를 비교하는 실증 평가.
• 시냅스 지능의 중요도 근사에서의 편향 분석 및 성능에 미치는 영향.
• 근사치를 이론적 페셔 정보 측정법과 일치시키기 위한 스케일링 기법의 사용.
• 지속적 학습 벤치마크를 통해 정규화 성능 평가하여 근사 품질과 모델 정확도 간의 상관관계 분석.

실험 결과

연구 질문

• RQ1 시냅스 지능과 메모리 인지 가능한 시냅스는 이론적으로 타당한 중요도 측정법인 페셔 정보 행렬을 근사하는가?
• RQ2 시냅스 지능과 같은 정규화 방법의 성능에 있어 근사 편향의 역할은 무엇인가?
• RQ3 다양한 중요도 측정법은 페셔 정보와의 이론적 및 실증적 일치 측면에서 어떻게 비교되는가?
• RQ4 정규화 방법의 효과성은 공통된 이론적 기반에 대한 근사로 설명될 수 있는가?

주요 결과

• 시냅스 지능과 메모리 인지 가능한 시냅스는 모두 페셔 정보 행렬의 스케일링된 버전을 근사하며, 이는 그 효과성에 대한 이론적 근거를 제공한다.
• 시냅스 지능의 근사는 편향이 있으며, 이 편향이 그 뛰어난 실증적 성능을 설명하는 핵심 요소로 밝혀졌다.
• 이론적 및 실증적 증거는 두 방법이 페셔 정보 근사라는 공통 기반을 통해 밀접하게 관련되어 있음을 확인한다.
• 이 연구는 지속적 학습에서 정규화 방법의 성공이 이론적으로 타당한 중요도 측정법과의 일치성에 기인함을 드러냈다.