[논문 리뷰] Efficient Continual Learning with Modular Networks and Task-Driven Priors

Tom Véniat, Ludovic Denoyer외 1명|arXiv (Cornell University)|2020. 12. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 29

한 줄 요약

이 논문은 지속적 학습에서 효율성을 높이기 위해 작업 기반 사전 지식을 갖춘 모듈러한 신경망 아키텍처를 제안한다. 이는 메모리와 계산량에 대해 선형 이하의 스케일링을 가능하게 하며, 치명적인 잊음 현상을 줄인다. 과거 작업에서 유용한 모듈을 조합하고, 데이터 기반 사전 지식을 통해 최적의 조합을 동적으로 선택함으로써, 전이 능력과 확장성을 시험하는 새로운 도전적인 벤치마크에서 최신 기술 수준을 넘어서는 성능을 달성한다. 특히 장기간의 스트림 환경에서 지속적 학습 설정에서 기존 방법들을 능가한다.

ABSTRACT

Existing literature in Continual Learning (CL) has focused on overcoming catastrophic forgetting, the inability of the learner to recall how to perform tasks observed in the past. There are however other desirable properties of a CL system, such as the ability to transfer knowledge from previous tasks and to scale memory and compute sub-linearly with the number of tasks. Since most current benchmarks focus only on forgetting using short streams of tasks, we first propose a new suite of benchmarks to probe CL algorithms across these new axes. Finally, we introduce a new modular architecture, whose modules represent atomic skills that can be composed to perform a certain task. Learning a task reduces to figuring out which past modules to re-use, and which new modules to instantiate to solve the current task. Our learning algorithm leverages a task-driven prior over the exponential search space of all possible ways to combine modules, enabling efficient learning on long streams of tasks. Our experiments show that this modular architecture and learning algorithm perform competitively on widely used CL benchmarks while yielding superior performance on the more challenging benchmarks we introduce in this work.

연구 동기 및 목표

• 기존 지속적 학습 방법이 효율적으로 확장되지 않거나, 잊음 완화를 넘어서 지식 전이를 지원하지 못하는 한계를 해결하기 위해.
• 강력한 지속적 학습 시스템이 가져야 할 핵심 성질을 규명하기 위해: 치명적인 잊음 방지, 효과적인 지식 전이, 작업 수에 비례해 선형 이하로 증가하는 메모리 및 계산량의 성장.
• 기존의 잊음 측정 기준을 넘어서 이러한 성질을 시험할 수 있는 새로운 벤치마크 세트인 CTrL을 설계하고 평가하기 위해.
• 지속적 학습에서 효율적이고 확장 가능하며 전이 능력을 갖춘 지속적 학습을 가능하게 하는 모듈러한 신경망 아키텍처를 개발하고 평가하기 위해.

제안 방법

• 모듈러한 신경망 아키텍처를 사용하여 각 작업은 이전 작업에서 유래하거나 새로 훈련된 작은 수의 재사용 가능한 신경 모듈을 조합하여 해결한다.
• 기존 작업에서 가장 성능이 좋았던 모듈 구성 주변의 국소적 변형만을 고려하여, 가능한 모든 모듈 조합의 지수적 공간에서의 탐색을 안내하기 위해 작업 기반 사전 지식을 도입한다.
• 사전 지식은 데이터 기반으로, 이전 작업에서 가장 성능이 좋았던 아키텍처의 특징을 사용하여 탐색 공간을 제약함으로써 효율적인 탐색을 보장한다.
• 과거 모듈을 동결함으로써 잊음 현상을 방지하고, 현재 작업 학습 시에는 오직 새로운 모듈만 업데이트한다.
• 유사한 의미를 가진 작업 간에 공통 모듈을 재사용함으로써 지식 전이를 지원한다.
• 각 작업을 한 번만 볼 수 있는 현실적인 평가 프rotocol 하에서 평가되며, 추론 시 데이터 재생이 가능하여 실제 지속적 학습 환경을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 지속적 학습 시스템이 장기간의 작업 스트림에서 높은 성능을 유지하면서도 메모리와 계산량에 대해 선형 이하의 성장률을 달성할 수 있는가?
• RQ2 모듈러 아키텍처는 관련된 작업 간의 지식 전이를 얼마나 효과적으로 가능하게 하는가?
• RQ3 기존의 표준 벤치마크는 전이 능력과 확장성 측면에서 지속적 학습 방법 간의 차이를 얼마나 잘 식별하는가?
• RQ4 데이터 기반의 작업 특화 사전 지식은 모듈 조합의 조합 공간에서의 탐색 효율성을 얼마나 향상시키는가?
• RQ5 작업 기반 사전 지식을 갖춘 모듈러 아키텍처는 표준 벤치마크뿐 아니라 새로 설계된 더 도전적인 지속적 학습 벤치마크에서도 기존 최신 기술 수준의 방법들을 능가할 수 있는가?

주요 결과

• 제안된 방법 MNTDP-D는 ResNet 백본을 사용할 때 CTrL 벤치마크에서 평균 정확도 0.70을 기록하며 모든 베이스라인을 능가하는 최고의 플라스티시티 성능을 달성한다.
• 장기간 스트림 평가에서 MNTDP-D는 메모리 사용량 102.03 MB로도 평균 정확도 0.75를 유지하며, HAT* 및 MNTDP-S와 같은 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 전이 평가 스트림에서 MNTDP-D는 데이터 감소와 클래스 재정렬 조건에서도 최종 작업에서 정확도 0.70을 달성하여 강력한 전이 능력을 입증했다.
• 이 방법은 효율적으로 확장된다: 100개의 작업을 처리할 경우, MNTDP-D는 오직 1299.0 FLOPs와 11.6 MB 메모리만을 사용하여 선형 이하의 성장률을 보였다.
• 플라스티시티 스트림에서 MNTDP-D는 4개의 간섭 작업 이후에도 프로브 작업에서 정확도 0.70을 유지하여 잊음 최소화와 강력한 기억 유지 능력을 보였다.
• 제거 실험 결과, 작업 기반 사전 지식이 필수적임을 확인했다: 이 없이에서는 특히 장기간 스트림에서 성능이 크게 떨어졌다.