[논문 리뷰] DualNet: Continual Learning, Fast and Slow

Quang Pham, Liu Chenghao외 1명|arXiv (Cornell University)|2021. 10. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 60

한 줄 요약

DualNet은 느린 자가감독 학습자와 빠른 학습자가 온라인으로 동기화되어 일반 표현 학습 및 새로 주어진 라벨 데이터에 대한 빠른 적응을 수행하는 두 시스템의 연속 학습 프레임워크를 제안합니다. CORE50 및 miniImageNet 벤치마크에서 최첨단 baselines보다 우수합니다.

ABSTRACT

According to Complementary Learning Systems (CLS) theory~\citep{mcclelland1995there} in neuroscience, humans do effective \emph{continual learning} through two complementary systems: a fast learning system centered on the hippocampus for rapid learning of the specifics and individual experiences, and a slow learning system located in the neocortex for the gradual acquisition of structured knowledge about the environment. Motivated by this theory, we propose a novel continual learning framework named "DualNet", which comprises a fast learning system for supervised learning of pattern-separated representation from specific tasks and a slow learning system for unsupervised representation learning of task-agnostic general representation via a Self-Supervised Learning (SSL) technique. The two fast and slow learning systems are complementary and work seamlessly in a holistic continual learning framework. Our extensive experiments on two challenging continual learning benchmarks of CORE50 and miniImageNet show that DualNet outperforms state-of-the-art continual learning methods by a large margin. We further conduct ablation studies of different SSL objectives to validate DualNet's efficacy, robustness, and scalability. Code will be made available upon acceptance.

연구 동기 및 목표

• 빠른 작업 특정 학습과 느린 일반 표현 학습을 분리하여 보완 학습 시스템(CLS) 이론을 통해 지속적 학습을 동기부여한다.
• 느리고 SSL 기반 모듈로 표현 학습을 감독 학습으로부터 분리하고, 빠르며 샘플별 적응 모듈을 사용한다.
• 동기적으로 학습된 느린 학습자와 빠른 학습자가 복잡한 벤치마크에서 망각 감소, 전이, 전반적 정확도 향상에 기여함을 입증한다.
• 다양한 SSL 목적 함수와 최적화 기법에 대한 DualNet의 강건성을 보이고, 제거 연구(ablations) 및 준지도 학습 설정을 분석한다.

제안 방법

• 두 모델 구조: 기억 샘플에 대한 자가감독 손실로 일반 표현을 학습하는 느린 학습자 φ와, 라벨 데이터에 대해 이 표현을 샘플별 변환 메커니즘으로 적응시키는 빠른 학습자 θ.
• 느린 학습자의 목적: 자가감독 손실을 채택; 본 논문은 불변성을 촉진하고 중복성을 줄이기 위해 BarLow Twins 스타일 손실을 구현한다.
• 느린 학습자의 최적화는 continual learning에서 진화하는 메모리 분포를 고려하여 수렴을 향상시키는 Look-ahead SGD를 사용한다.
• 빠른 학습자의 목적: 입력에 조건화된 샘플별 적응으로 적응된 특징을 생성하여 작업 식별자 없이도 새로운 라벨 샘플로 신속하게 학습할 수 있게 한다.
• 경험 재생: 입력되는 라벨 데이터와 기억 샘플을 소프트 레이블 손실과 KL 발산으로 결합하여 학습의 안정화를 도모한다.
• 학습은 동기화되어: 느린 SSL 목표가 백그라운드에서 실행되고 빠른 학습자는 새로운 라벨 데이터에 대해 업데이트하며, 두 구성 요소를 통한 역전파를 수행한다.

실험 결과

연구 질문

• RQ1 느린 SSL 기반 표현 학습을 분리하고 샘플별 빠른 적응 메커니즘을 결합하면 지속적 학습 성능이 최첨단 방법들보다 향상될 수 있는가?
• RQ2 온라인 연속 학습 설정에서 느린 학습자와 빠른 학습자의 동기식 학습이 지식 보존과 작업 간 전이를 견고하게 가능하게 하는가?
• RQ3 다양한 SSL 목표 함수와 최적화 전략에 따라 DualNet의 성능은 어떻게 달라지는가?
• RQ4 라벨 데이터가 드문 준지도 지속 학습에서 DualNet가 효과적인가?
• RQ5 감독 업데이트 사이의 SSL 반복 횟수를 다르게 하면 망각 및 전이에 어떤 영향을 주는가?

주요 결과

• DualNet은 CORE50 및 Split miniImageNet 벤치마크에서 태스크 인식 여부에 관계없이 baselines( ER, DER++, CTN 포함)보다 우수하다.
• SSL로 학습된 느린 학습자는 태스크에 의존하지 않는 견고한 표현을 제공하여 태스크 간 일반화를 돕는다.
• 빠른 학습자의 샘플별 적응은 작업 식별자 없이도 새로운 지식을 빠르게 습득할 수 있게 한다.
• 느린 학습자에 Look-ahead 최적화와 BarLow Twins SSL을 사용하면 강한 수렴과 성능 향상을 얻고, ablations는 선택된 SSL 목적의 효능을 확인한다.
• 더 많은 SSL 업데이트를 감독 업데이트 사이에 수행할수록 망각 감소 및 전이 향상이 나타나 DualNet은 다양한 SSL 반복에서도 효과적이다.
• 부분 라벨링이 있는 준지도 설정에서 DualNet은 느린 SSL 분기를 통해 비라벨 데이터를 활용하여 baselines를 넘어서는 성능 향상을 보인다.