[논문 리뷰] Continual Learning via Local Module Composition

Oleksiy Ostapenko, Pau Rodríguez외 2명|arXiv (Cornell University)|2021. 11. 15.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 입력에 대한 모듈의 관련성을 예측하기 위해 각 모듈의 국소적 구조적 구성요소를 사용하는 임계 학습 프레임워크인 로컬 모듈 조합(Local Module Composition, LMC)을 제안한다. 학습된 관련성 점수에 기반해 동적으로 모듈을 조합하고, 분포 외(OoD) 입력을 탐지하여 새로운 모듈 생성을 유도함으로써, 작업 ID 없이도 강력한 성능을 달성하며, 새로운 작업에 대해 제로샷 일반화와 독립적으로 훈련된 모델 간의 모듈형 네트워크 조합을 가능하게 한다.

ABSTRACT

Modularity is a compelling solution to continual learning (CL), the problem of modeling sequences of related tasks. Learning and then composing modules to solve different tasks provides an abstraction to address the principal challenges of CL including catastrophic forgetting, backward and forward transfer across tasks, and sub-linear model growth. We introduce local module composition (LMC), an approach to modular CL where each module is provided a local structural component that estimates a module's relevance to the input. Dynamic module composition is performed layer-wise based on local relevance scores. We demonstrate that agnosticity to task identities (IDs) arises from (local) structural learning that is module-specific as opposed to the task- and/or model-specific as in previous works, making LMC applicable to more CL settings compared to previous works. In addition, LMC also tracks statistics about the input distribution and adds new modules when outlier samples are detected. In the first set of experiments, LMC performs favorably compared to existing methods on the recent Continual Transfer-learning Benchmark without requiring task identities. In another study, we show that the locality of structural learning allows LMC to interpolate to related but unseen tasks (OOD), as well as to compose modular networks trained independently on different task sequences into a third modular network without any fine-tuning. Finally, in search for limitations of LMC we study it on more challenging sequences of 30 and 100 tasks, demonstrating that local module selection becomes much more challenging in presence of a large number of candidate modules. In this setting best performing LMC spawns much fewer modules compared to an oracle based baseline, however, it reaches a lower overall accuracy. The codebase is available under https://github.com/oleksost/LMC.

연구 동기 및 목표

• 지속적 학습에서 치명적 기억 상실과 선형 이하의 모델 성장 문제를 모듈형, 조합 가능한 아키텍처를 통해 해결한다.
• 실제 환경에서 적용 가능성을 제한하는 추론 과정에서 작업 식별자에 의존하는 문제를 해결한다.
• 모듈 전용 국소적 관련성 점수를 도입하여 작업 ID 없이도 동적으로 모듈을 조합하고 확장할 수 있도록 한다.
• 분포 외(OoD) 일반화와 독립적으로 훈련된 모델 간의 모듈형 네트워크 조합을 지원한다.
• 30개 및 100개의 작업을 포함한 긴 꼬리가 짧은 작업 시퀀스에서의 강인성과 확장성을 평가한다.

제안 방법

• 각 모듈에 입력에 대한 관련성 점수를 학습하여 추정하는 국소적 구조적 구성요소를 탑재한다.
• 정규화된 관련성 점수를 사용해 계층별로 동적 모듈 조합을 수행함으로써 작업 ID가 필요 없도록 한다.
• 모든 기존 모듈이 입력을 분포 외(OoD)로 표시할 경우, 국소적 OoD 탐지 메커니즘을 사용해 새로운 모듈 생성을 유도한다.
• 새로운 얕은 모듈이 깊은 모듈의 관련성 점수를 최대화하도록 훈련하는 투영 단계를 도입함으로써 호환성을 확보한다.
• 입력 재구성 가능성을 보장하기 위해 구조적 구성요소로 생성 모델을 사용함으로써 OoD 탐지 및 구조적 학습을 가능하게 한다.
• 각 계층에서 모듈 간의 암묵적 통신 및 통합을 가능하게 하기 위해 Eq. 4에 따라 가중 평균 집계를 적용한다.

실험 결과

연구 질문

• RQ1 모듈형 지속적 학습 시스템이 추론 시 작업 식별자에 의존하지 않고도 뛰어난 성능을 달성할 수 있는가?
• RQ2 국소적 구조적 학습이 새로운 작업에 대해 효과적인 분포 외(OoD) 일반화를 가능하게 하는가?
• RQ3 독립적으로 훈련된 모듈형 네트워크가 피팅 없이도 새로운 모듈형 네트워크로 조합될 수 있는가?
• RQ4 많은 후보 모듈이 존재할 경우, 긴 작업 시퀀스에서 모듈 선택 성능이 어떻게 저하되는가?
• RQ5 국소적 관련성 점수 기반 메커니즘이 실제 환경에서 확장성 있고, 동적이고 안정적인 지속적 학습을 지원할 수 있는가?

주요 결과

• LMC는 테스트 시 작업 ID가 필요 없이 CTrL 벤치마크에서 최신 기술 수준의 성능을 초과하거나 유사하게 달성한다.
• LMC는 훈련 중에 볼 수 없었던 분포 외(OoD) 작업으로의 일반화에 성공하여 제로샷 전이 능력을 입증한다.
• LMC는 서로 다른 작업 시퀀스에서 훈련된 모듈형 네트워크를 피팅 없이도 하나의 기능성 네트워크로 조합할 수 있다.
• 30개 및 100개의 작업 시퀀스에서 LMC는 오라클 기반의 MNTDP 기준보다 훨씬 적은 수의 모듈을 생성하지만, 약간 낮은 정확도를 기록함으로써, 큰 후보 집합에서 자동 모듈 선택의 과제를 드러낸다.
• 투영 단계는 얕은 모듈과 깊은 모듈 간의 호환성을 크게 향상시켜 안정적인 훈련과 효과적인 조합을 가능하게 한다.
• LMC의 성능는 국소적 OoD 검출기와 생성 모델의 신뢰성에 민감하게 영향을 받으며, 이는 OoD 탐지 및 생성 모델 기술의 발전에 의존함을 시사한다.