[논문 리뷰] Task-Aware Information Routing from Common Representation Space in Lifelong Learning

Prashant Bhat, Bahram Zonooz외 1명|arXiv (Cornell University)|2023. 02. 14.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

TAMiL은 공통 표현 공간에서 작업에 관련된 정보를 글로벌 워크스페이스로 라우팅하기 위해 과소완성 오토에인코더 기반의 작업별 주의 모듈(TAMs)을 사용하는 지속적 학습 방법을 제안한다. 이는 간섭과 치명적인 잊음 현상을 줄이며, 특히 낮은 버퍼 환경과 장기적인 작업 시퀀스에서 최신 기술의 메모리 재생 및 동적 희소화 방법을 능가한다. 또한 작업의 최근성 편향을 감소시키고 캘리브레이션을 향상시킨다.

ABSTRACT

Intelligent systems deployed in the real world suffer from catastrophic forgetting when exposed to a sequence of tasks. Humans, on the other hand, acquire, consolidate, and transfer knowledge between tasks that rarely interfere with the consolidated knowledge. Accompanied by self-regulated neurogenesis, continual learning in the brain is governed by a rich set of neurophysiological processes that harbor different types of knowledge, which are then integrated by conscious processing. Thus, inspired by the Global Workspace Theory of conscious information access in the brain, we propose TAMiL, a continual learning method that entails task-attention modules to capture task-specific information from the common representation space. We employ simple, undercomplete autoencoders to create a communication bottleneck between the common representation space and the global workspace, allowing only the task-relevant information to the global workspace, thus greatly reducing task interference. Experimental results show that our method outperforms state-of-the-art rehearsal-based and dynamic sparse approaches and bridges the gap between fixed capacity and parameter isolation approaches while being scalable. We also show that our method effectively mitigates catastrophic forgetting while being well-calibrated with reduced task-recency bias.

연구 동기 및 목표

• 뇌의 신경생리학적 과정, 특히 자가 조절 신경생성과 의식적 정보 접근을 모방함으로써 지속적 학습에서 치명적인 잊음 현상을 해결한다.
• 작업별 주의 모듈을 통한 커뮤니케이션 병목 현상을 도입하여 클래스 인크리멘탈 및 작업 인크리멘탈 학습에서의 작업 간 간섭을 줄인다.
• 메모리 예산이 낮고 장기적인 작업 시퀀스가 존재하는 환경에서 모델의 확장성과 성능을 향상시킨다. 이는 전통적인 재생 기반 방법이 일반적으로 성능 저하를 보이는 영역이다.
• 지속적 학습 시스템에서 흔히 발생하는 작업의 최근성 편향과 모델의 캘리브레이션 오차를 완화한다.
• 작업 주의 모듈이 다양한 지속적 학습 알고리즘에 일반화될 수 있음을 보여준다.

제안 방법

• TAMiL은 모든 작업에 공통으로 사용되는 공통 표현 공간으로 입력을 매핑하기 위해 공유 백본 네트워크를 사용한다.
• 각 작업은 작업별 주의 모듈(TAM)을 사용하며, 이는 단순한 과소완성 오토에인코더로 구현되어 작업에 관련된 정보를 위한 병목 현상을 만든다.
• TAM은 선택적 게이트 역할을 하여 공통 표현 공간에서만 작업에 특화된 특징이 글로벌 워크스페이스로 전달되도록 하여 간섭을 최소화한다.
• 고정된 용량으로 지속적 학습을 가능하게 하기 위해 경험 재생과 이전 작업 데이터의 메모리 버퍼를 결합한다.
• 추론 중에는 진짜 TAM(오라클) 또는 학습된 TAM을 사용하여 정보를 라우팅하며, 후자는 확장성과 낮은 파라미터 증가를 가능하게 한다.
• 다양한 CL 알고리즘, 예를 들어 ER, FDR, DER++와의 호환성을 통해 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 주의 모듈을 통한 작업 인지 정보 라우팅이 지속적 학습에서 치명적인 잊음 현상을 줄일 수 있는가?
• RQ2 병목 현상이 있는 과소완성 오토에인코더 기반의 TAM이 클래스 인크리멘탈 및 작업 인크리멘탈 학습에서 일반화 능력 향상과 간섭 감소에 기여하는가?
• RQ3 메모리 예산이 낮고 장기적인 작업 시퀀스에서 TAMiL은 재생 기반 및 파라미터 격리 기반 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ4 TAMiL은 지속적 학습에서 작업의 최근성 편향과 모델 캘리브레이션 오차를 어느 정도 완화하는가?
• RQ5 제안된 TAM 메커니즘은 다양한 지속적 학습 프레임워크에 일반화될 수 있는가?

주요 결과

• TAMiL은 Seq-CIFAR100에서 최신 기술의 재생 기반 및 동적 희소화 방법을 모두 능가하며, 특히 고정된 버퍼 크기 500에서 평균 정확도 향상이 두드러진다.
• 작업의 최근성 편향이 크게 감소하여, 모든 작업에 대해 더 균형 잡힌 작업 확률 분포를 보였으며, ER은 최대 8배까지 최근 작업을 선호하는 반면 TAMiL은 그렇지 않다.
• 기존 베이스라인 대비 기대 캘리브레이션 오차(ECE)가 가장 낮아, 예측 신뢰도와 실제 정확도 간의 일치도가 뛰어나다.
• 장기적인 작업 시퀀스(최대 20개 작업)에서도 강력한 성능 유지를 유지하여 장기적 치명적인 잊음에 대한 강건성을 입증한다.
• 절단 실험 결과, TAM이 모든 CL 방법에서 성능 향상에 결정적인 영향을 미치며, 오라클 TAM은 거의 최적의 성능을 달성한다.
• 작은 오토에인코더 설계 덕분에 작업당 파라미터 증가가 거의 없어, 용량 포화 없이 확장성이 뛰어나다.