[논문 리뷰] On Quadratic Penalties in Elastic Weight Consolidation

Ferenc Huszár|arXiv (Cornell University)|2017. 12. 11.

Gaussian Processes and Bayesian Inference참고 문헌 5인용 수 33

한 줄 요약

이 논문은 표준 유연한 무게 보존(Elastic Weight Consolidation, EWC) 알고리즘을 비판하며, 이 알고리즘이 모든 이전 작업의 파라미터에 고정된 다수의 2차 형식 페널티를 사용함으로써 이전 작업 데이터를 이중으로 세는 문제와 이로 인해 초기 작업들에 대한 체계적 편향이 발생함을 보여준다. 이를 해결하기 위해 최근에 학습된 파라미터에만 고정된 단일 페널티 버전을 제안하며, 이는 라플라스 근사와 이론적으로 더 일관되며 저장 비용을 줄이고 성능 유지를 유지한다.

ABSTRACT

Elastic weight consolidation (EWC, Kirkpatrick et al, 2017) is a novel algorithm designed to safeguard against catastrophic forgetting in neural networks. EWC can be seen as an approximation to Laplace propagation (Eskin et al, 2004), and this view is consistent with the motivation given by Kirkpatrick et al (2017). In this note, I present an extended derivation that covers the case when there are more than two tasks. I show that the quadratic penalties in EWC are inconsistent with this derivation and might lead to double-counting data from earlier tasks.

연구 동기 및 목표

• 지속적 학습에서 유연한 무게 보존(Elastic Weight Consolidation, EWC) 알고리즘이 베이지안 추론과 이론적으로 일관되는지 조사한다.
• EWC가 모든 이전 작업의 최적 파라미터에 고정된 다수의 2차 형식 페널티를 사용하는 데서 발생하는 결함을 규명한다.
• 이러한 다중 페널티가 이전 작업 데이터를 이중으로 세는 결과를 초래하고 초기 작업들에 대한 체계적 편향을 유도함을 보여준다.
• 최근에 학습된 파라미터에만 고정된 단일 페널티 EWC 버전을 제안하며, 이는 순차적 라플라스 근사와 이론적으로 더 일관된다.
• 최신 페널티만 유지함으로써 저장 비용을 일정하게 유지하면서도, 다중 페널티 확장 기능을 통해 이전 데이터셋 재방문을 지원하는 효율적인 지속적 학습을 가능하게 한다.

제안 방법

• 베이즈 정리에 기반해 순차적 학습의 베이지안 사후분포를 유도하며, 작업 T 이후의 사후분포가 A에서 S까지의 작업 이후 사후분포에 의존함을 보여준다.
• 로그사후분포에 대해 두 번째 차수 테일러 근사(라플라스 방법)를 적용하여, 이전 작업의 최적 파라미터 중심의 2차 형식으로 파라미터의 사전분포를 근사한다.
• 표준 EWC 페널티가 두 작업의 경우 대각선 라플라스 근사와 동일한데, 이는 다수의 페널티 중심으로 인해 세 번 이상의 작업에서는 일관성이 상실됨을 보여준다.
• 최근 작업의 파라미터에만 고정된 단일 페널티 EWC 버전을 제안하며, 이는 순차적 라플라스 근사의 반복 적용에서 유도된다.
• 다중 페널티 확장 기능을 도입하여, 순차적 계산을 통해 보정된 페널티 중심을 사용함으로써 데이터셋 재방문과 더 정확한 작업별 손실 표면 근사가 가능하다.
• 이중 세기 방지를 위해 페널티 중심을 업데이트하는 재귀 공식을 유도하며, 이는 모든 이전 피셔 정보 매트릭스를 저장하지 않고도 효율적인 재추정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 EWC 알고리즘이 두 개 이상의 작업에 적용될 경우, 베이지안 추론과 이론적으로 일관되는가?
• RQ2 모든 이전 작업 최적값에 고정된 다수의 2차 형식 페널티 사용이 이전 작업 데이터의 이중 세기 문제를 일으키는가?
• RQ3 최근에 학습된 파라미터에만 고정된 단일 페널티 EWC 버전을 유도할 수 있으며, 이는 라플라스 근사와 이론적으로 더 일관되며 초기 작업들에 대한 편향을 줄일 수 있는가?
• RQ4 다수의 페널티를 유지하는 데 드는 저장 비용은 얼마이며, 성능을 저하시키지 않고 이를 줄일 수 있는가?
• RQ5 알고리즘을 확장하여 이전 데이터셋을 재방문하면서도 정확한 작업별 정규화를 유지할 수 있는가?

주요 결과

• 표준 EWC 알고리즘은 모든 이전 작업의 파라미터에 고정된 다수의 2차 형식 페널티를 적용함으로써 이전 작업의 데이터를 이중으로 세고, 초기 작업들에 대한 체계적 편향을 유도한다.
• 두 작업의 경우 EWC는 가중치 중요도 초모수를 가진 대각선 라플라스 근사와 동일하지만, 이 동치성은 두 개 이상의 작업에서는 붕괴된다.
• 최근에 학습된 파라미터에만 고정된 단일 페널티 EWC 버전은 순차적 라플라스 근사와 이론적으로 더 일관되며, 이중 세기 문제를 방지한다.
• 단일 페널티 버전의 저장 비용은 작업 수에 관계없이 일정하며, 오직 최신 파라미터 세트와 하나의 피셔 정보 이동합만 유지하면 된다.
• 순차적 계산을 통해 보정된 페널티 중심을 사용하는 다중 페널티 버전은 데이터셋 재방문과 더 정확한 작업별 손실 표면 근사를 가능하게 한다.
• 페널티 중심을 업데이트하는 재귀 공식은 모든 이전 피셔 정보 매트릭스를 저장하지 않고도 작업별 페널티를 효율적으로 재추정할 수 있게 한다.