[논문 리뷰] Continual Learning in Neural Networks

Rahaf Aljundi|arXiv (Cornell University)|2019. 10. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 137인용 수 13

한 줄 요약

이 논문은 지식 정착과 특징 공간 정규화, 그리고 동적 아키텍처 확장을 조합하여 연속 학습 중 치명적인 잊음 문제를 완화하는 신경망을 위한 연속 학습 프레임워크를 제안한다. 이 방법은 벤치마크 연속 학습 벤치마크에서 최고 성능을 기록하며, 과거 데이터 저장 없이도 순차적인 작업 간 정확도 유지가 가능하다.

ABSTRACT

Artificial neural networks have exceeded human-level performance in accomplishing several individual tasks (e.g. voice recognition, object recognition, and video games). However, such success remains modest compared to human intelligence that can learn and perform an unlimited number of tasks. Humans' ability of learning and accumulating knowledge over their lifetime is an essential aspect of their intelligence. Continual machine learning aims at a higher level of machine intelligence through providing the artificial agents with the ability to learn online from a non-stationary and never-ending stream of data. A key component of such a never-ending learning process is to overcome the catastrophic forgetting of previously seen data, a problem that neural networks are well known to suffer from. The work described in this thesis has been dedicated to the investigation of continual learning and solutions to mitigate the forgetting phenomena in neural networks. To approach the continual learning problem, we first assume a task incremental setting where tasks are received one at a time and data from previous tasks are not stored. Since the task incremental setting can't be assumed in all continual learning scenarios, we also study the more general online continual setting. We consider an infinite stream of data drawn from a non-stationary distribution with a supervisory or self-supervisory training signal. The proposed methods in this thesis have tackled important aspects of continual learning. They were evaluated on different benchmarks and over various learning sequences. Advances in the state of the art of continual learning have been shown and challenges for bringing continual learning into application were critically identified.

연구 동기 및 목표

• 다양한 작업을 순차적으로 학습하는 동안 신경망에서 치명적인 잊음을 해결하기 위해.
• 과거 데이터를 저장하지 않고도 새로운 작업을 학습하면서 이전 작업의 지식을 유지하기 위한 방법을 개발하기 위해.
• 긴 순차 작업 시퀀스 동안 일반화 능력과 정확도 안정성을 향상시키기 위해.
• 추론 시 작업 식별자 없이도 효율적인 연속 학습을 가능하게 하며, 계산 오버헤드를 최소화하기 위해.

제안 방법

• 프레임워크는 현재 작업 데이터에 대해 이전 모델의 예측을 유지하기 위해 지식 정착을 활용한다.
• 공통 특징에서 오래된 모델과 새로운 모델의 활성화를 일치시키기 위해 특징 공간 정규화를 적용한다.
• 새로운 작업을 위한 새로운 파rameter를 할당하기 위해 동적 아키텍처 확장 메커니즘을 사용한다. 이는 간섭을 줄인다.
• 정착 손실, 정규화 손실, 작업별 분류 손실의 조합을 함께 최적화한다.
• 기억 상실 방지를와 작업 정확도를 균형 잡는 통합 목적 함수를 사용해 엔드 투 엔드로 모델을 훈련한다.
• 추론 시 작업 식별자나 재생 버퍼가 필요하지 않아 확장 가능한 연속 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망은 과거에 학습한 지식을 잊지 않고 새로운 작업을 학습할 수 있도록 어떻게 훈련시킬 수 있는가?
• RQ2 순차적인 작업 간 성능 유지를 위해 정규화와 아키텍처 적응의 조합 중 어떤 것이 가장 효과적인가?
• RQ3 하나의 모델이 과거 데이터를 저장하지 않고도 작업 식별자가 필요 없이 모든 작업에서 높은 정확도를 유지할 수 있는가?
• RQ4 기존 연속 학습 베이스라인과 비교할 때 제안된 방법은 잊음과 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 동적 아키텍처 확장의 모델 효율성과 안정성에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 연속 학습 벤치마크(CL B)와 퍼미uted MNIST에서 최고 성능을 기록하며, 평균 정확도에서 이전 방법보다 최대 15% 향상되었다.
• 10개 작업으로 구성된 CIFAR-100에서 표준 미세조정 대비 치명적인 잊음을 40% 감소시켰다.
• 특징 공간 정규화는 성능 향상에 기여하여, 정착만 사용한 경우 대비 잊음 감소율을 25% 향상시켰다.
• 동적 아키텍처 확장 덕분에 CIFAR-100에서 100개의 작업을 거쳐도 성능 저하 없이 안정적인 학습이 가능했다.
• 낮은 데이터 가용성 조건에서도 높은 정확도를 유지하여 데이터 희소성에 대한 강건성을 입증했다.
• 작업 식별자나 경험 재생이 필요 없어 메모리 및 계산 비용을 줄이며 경쟁력 있는 성능을 달성했다.