[논문 리뷰] Meta Continual Learning

Risto Vuorio, Dong-Yeon Cho외 2명|arXiv (Cornell University)|2018. 06. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 27

한 줄 요약

이 논문은 재난적 기억 상실을 최소화하기 위해 연속 학습에서 최적의 파라미터 업데이트 스텝을 예측할 수 있도록 신경망을 훈련하는 메타학습 접근법인 메타 연속 학습을 제안한다. 과거 작업에서의 파라미터 중요도를 기반으로 업데이트를 조정함으로써, 이 방법은 순차적인 MNIST 작업에서 뛰어난 성능을 달성하며, 표준 SGD를 뛰어나고 여러 기준선과 동일하거나 이를 초월하는 정확도를 기록한다.

ABSTRACT

Using neural networks in practical settings would benefit from the ability of the networks to learn new tasks throughout their lifetimes without forgetting the previous tasks. This ability is limited in the current deep neural networks by a problem called catastrophic forgetting, where training on new tasks tends to severely degrade performance on previous tasks. One way to lessen the impact of the forgetting problem is to constrain parameters that are important to previous tasks to stay close to the optimal parameters. Recently, multiple competitive approaches for computing the importance of the parameters with respect to the previous tasks have been presented. In this paper, we propose a learning to optimize algorithm for mitigating catastrophic forgetting. Instead of trying to formulate a new constraint function ourselves, we propose to train another neural network to predict parameter update steps that respect the importance of parameters to the previous tasks. In the proposed meta-training scheme, the update predictor is trained to minimize loss on a combination of current and past tasks. We show experimentally that the proposed approach works in the continual learning setting.

연구 동기 및 목표

• 연속 학습에서 새로운 작업을 학습할 때 이전 작업에서 성능이 저하되는 재난적 기억 상실 문제를 해결하기 위해.
• 수동으로 설계된 정규화 가정을 피하는 일반적이고 자동화된 연속 학습 방법을 개발하기 위해.
• 메타학습을 사용하여 업데이트 예측자 훈련을 통해 연속 학습 맥락에서 최적화를 학습하는 것을 탐색하기 위해.
• 과거 작업 성능을 존중하는 태스크에 종속되지 않은 업데이트 규칙을 학습하는 것이 가능함을 입증하기 위해.

제안 방법

• 과거 작업의 기억 상실을 최소화하는 데 목적이 있는 각 파라미터의 업데이트 스텝을 예측할 수 있도록 메타넷(업데이트 예측자)을 훈련한다.
• 현재 작업과 과거 작업의 조합에서 최적화되는 메타훈련 설계를 사용한다.
• 업데이트 예측자는 이전 작업에 대한 중요도를 추정한 바탕으로 각 파라미터의 기울기 업데이트에 대한 스케일링 요소를 출력한다.
• 현재 작업과 이전 작업의 성능을 조합한 손실을 사용하여 전체적으로 엔드 투 엔드로 모델을 훈련한다.
• 이 방법은 업데이트 크기를 동적으로 조절한다: 중요한 파라미터에는 작은 업데이트, 유연한 파라미터에는 큰 업데이트를 적용한다.
• 과거 데이터의 명시적 기억이나 작업별 정규화를 필요로 하지 않으며, 대신 학습된 업데이트 가이던스에 의존한다.

실험 결과

연구 질문

• RQ1 명시적 기억이나 수동으로 설계된 정규화 없이도 학습된 업데이트 예측자가 연속 학습에서 재난적 기억 상실을 효과적으로 완화할 수 있는가?
• RQ2 공유된 데이터 분포를 가진 순차적 작업 간에 메타학습된 최적화 규칙이 얼마나 잘 일반화되는가?
• RQ3 업데이트 예측자가 과거 작업에 핵심적인 파라미터를 식별하고 새로운 작업 학습 중에 이를 유지하는가?
• RQ4 메타학습된 업데이트 규칙의 성능가 기존의 연속 학습 기준선과 비교해 볼 때 어떻게 되는가?

주요 결과

• 제안된 방법은 분리된 MNIST에서 82.3% ± 0.92의 테스트 정확도를 달성하여, SGD(47.72%)를 크게 앞서고 여러 기준선과 동일하거나 이를 초월했다.
• 섞인 MNIST에서는 95.5% ± 0.58의 정확도를 기록하여, 최신 기술인 IMM(98.3% ± 0.08)과 EWC(98.2%)에 근접하는 성능을 보였다.
• 메타훈련 과정에서의 삼중분포 출력 분포 변화를 통해, 과거 작업에 핵심적인 파라미터에 대해 거의 0에 가까운 업데이트를 예측자가 학습한 것으로 확인되었다.
• 모델는 지식 유지 능력이 뛰어나며, 메타훈련이 진행됨에 따라 비핵심 파라미터에 대해 출력 값이 증가하는 경향을 보였다.
• 이론적으로는 더 긴 작업 시퀀스로 일반화 가능하지만, 현재 실험은 세 개의 작업으로 제한되어 있다.