[논문 리뷰] Towards Training Recurrent Neural Networks for Lifelong Learning

Shagun Sodhani, Sarath Chandar외 1명|arXiv (Cornell University)|2018. 11. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 15

한 줄 요약

이 논문은 순환 신경망(RNN)에서 치명적인 잊음과 용량 포화를 동시에 해결하기 위해 기울기 에피소딕 메모리(GEM)와 Net2Net를 통합한 통합적 접근을 제안한다. 이는 효과적인 평생 학습을 가능하게 하며, 커리큘럼 기반 벤치마크에서 개별 구성 요소와 강력한 기준 모델을 모두 능가하는 성능을 보인다. 지식 유지 능력이 향상되고 모델 확장도 스케일러블하게 가능하다.

ABSTRACT

Catastrophic forgetting and capacity saturation are the central challenges of any parametric lifelong learning system. In this work, we study these challenges in the context of sequential supervised learning with an emphasis on recurrent neural networks. To evaluate the models in the lifelong learning setting, we propose a curriculum-based, simple, and intuitive benchmark where the models are trained on tasks with increasing levels of difficulty. To measure the impact of catastrophic forgetting, the model is tested on all the previous tasks as it completes any task. As a step towards developing true lifelong learning systems, we unify Gradient Episodic Memory (a catastrophic forgetting alleviation approach) and Net2Net(a capacity expansion approach). Both these models are proposed in the context of feedforward networks and we evaluate the feasibility of using them for recurrent networks. Evaluation on the proposed benchmark shows that the unified model is more suitable than the constituent models for lifelong learning setting.

연구 동기 및 목표

• 순환 신경망(RNN)을 위한 순차적 지도 학습에서 평생 학습의 핵심 과제인 치명적인 잊음과 용량 포화 문제를 해결하기 위해.
• GEM를 통한 치명적인 잊음 완화와 Net2Net를 통한 동적 용량 확장 기능을 통합한 RNN용 통합 모델을 개발하기 위해.
• 점차 어려움이 증가하는 과제와 이전 과제에 대한 지속적인 평가를 포함하는, 직관적인 커리큘럼 기반 평가 벤치마크를 제안하기 위해.
• GEM와 Net2Net를 공동으로 사용할 경우 단독 모델보다 더 나은 지식 유지, 전이 능력, 확장성 확보가 가능함을 입증하기 위해.

제안 방법

• 과제의 난이도가 점차 증가하는 커리큘럼 기반 벤치마크를 설계하고, 각 새로운 과제 학습 후 이전 모든 과제에 대해 모델을 테스트한다.
• 기억된 예시를 사용해 가중치 갱신을 제약함으로써 이전 과제에 대한 학습 안정성을 높이기 위해 RNN에 기울기 에피소딕 메모리(GEM)를 통합한다.
• 작은 사전 훈련된 네트워크를 동일한 초기 지식을 가진 더 큰 네트워크로 변환함으로써 RNN의 용량을 확장하기 위해 Net2Net를 적용한다.
• GEM를 통해 잊음 방지를, Net2Net를 통해 필요에 따라 용량을 확장하기 위해 통합된 소형-LSTM-GEM-Net2Net 모델을 엔드 투 엔드로 훈련한다.
• 복사(Copy), 연관 기억(Associative Recall), SSMNIST 세 가지 과제 분포에서 단일 GEM, 대규모-LSTM, 대규모-LSTM-GEM 기준 모델과 통합 모델을 비교한다.
• 모든 과제에 대한 정확도 히트맵 시각화를 통해 잊음, 전이 능력, 향후 일반화 능력의 세밀한 평가를 수행한다.

실험 결과

연구 질문

• RQ1 GEM와 Net2Net를 통합한 통합 모델이 RNN의 평생 학습에서 개별 구성 요소보다 뛰어난 성능을 보일 수 있는가?
• RQ2 제안된 커리큘럼 기반 벤치마크는 어떻게 더 신뢰할 수 있는 평생 학습 시스템 평가를 가능하게 하는가?
• RQ3 Net2Net를 통한 용량 확장이 순차적 학습에서 치명적인 잊음을 얼마나 줄이는가?
• RQ4 대규모 고정 용량 모델에 비해 통합 모델이 향후 과제에 대해 더 나은 향후 일반화 능력을 보이는가?

주요 결과

• 통합된 소형-LSTM-GEM-Net2Net 모델은 과제 간 지식 유지 능력에서 단독 GEM 및 단독 Net2Net 모델을 모두 능가한다.
• 특히 복사(Copy) 과제에서 대규모-LSTM-GEM 모델보다 더 높은 평균 향후 과제 정확도를 달성했으며, 대규모-LSTM 모델과 동등하거나 이를 초월한다.
• 히트맵 분석 결과 통합 모델은 이전 과제에서 높은 정확도를 유지함(하단 대각선 영역)을 보여, 치명적인 잊음에 대한 강력한 저항성을 입증한다.
• 특히 향후 일반화를 위해 설계된 것은 아니지만, 통합 모델은 새로운 미래 과제에 대해 대규모-LSTM 모델과 동등하거나 더 나은 일반화 능력을 보였다.
• 대규모-LSTM-GEM 모델보다 더 많은 과제를 완료함으로써, 통합 모델이 평생 학습에서 더 나은 확장성과 실용적 유용성을 확보하고 있음을 시사한다.
• 치명적인 잊음과 용량 포화 문제를 동시에 해결할 경우, 더 뛰어난 평생 학습 성능을 달성할 수 있음을 결과가 입증한다.