[논문 리뷰] Thalamus: a brain-inspired algorithm for biologically-plausible continual learning and disentangled representations

Ali Hummos|arXiv (Cornell University)|2022. 05. 24.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

Thalamus는 인지 유연성과 작업 분할 기능을 수행하는 척각피질 회로를 모방한 뇌 기반 지속 학습 알고리즘을 제안한다. 이 알고리즘은 추론 시점 최적화를 통해 작업별로 특화된 잠재 표현을 동적으로 생성함으로써, 작업 레이블 없이도 분리된 표현과 맥락 기반 행동 제어를 가능하게 한다. 가중치 갱신과 기울기 기반 잠재 갱신을 번갈아 적용함으로써, 지식 전이와 최소한의 기억 상실을 동시에 달성하며, 개방형이고 비지도 학습 환경에서도 강건한 지속 학습을 구현한다.

ABSTRACT

Animals thrive in a constantly changing environment and leverage the temporal structure to learn well-factorized causal representations. In contrast, traditional neural networks suffer from forgetting in changing environments and many methods have been proposed to limit forgetting with different trade-offs. Inspired by the brain thalamocortical circuit, we introduce a simple algorithm that uses optimization at inference time to generate internal representations of the current task dynamically. The algorithm alternates between updating the model weights and a latent task embedding, allowing the agent to parse the stream of temporal experience into discrete events and organize learning about them. On a continual learning benchmark, it achieves competitive end average accuracy by mitigating forgetting, but importantly, by requiring the model to adapt through latent updates, it organizes knowledge into flexible structures with a cognitive interface to control them. Tasks later in the sequence can be solved through knowledge transfer as they become reachable within the well-factorized latent space. The algorithm meets many of the desiderata of an ideal continually learning agent in open-ended environments, and its simplicity suggests fundamental computations in circuits with abundant feedback control loops such as the thalamocortical circuits in the brain.

연구 동기 및 목표

• 척각피질 회로의 작업 분할 및 인지적 탄력성 기능을 모방하는 생물학적으로 타당한 지속 학습 알고리즘을 개발하는 것.
• 사전에 지정된 작업 수나 작업 식별자 없이도 순차적이고 개방형 환경에서 비지도로 작업을 탐지할 수 있도록 하는 것.
• 잘 인과된, 분리된 잠재 공간에 표현을 조직함으로써 향후 및 과거 작업으로의 지식 전이를 지원하는 것.
• 동일한 입력이 내부 작업 맥락에 따라 다른 반응을 유도할 수 있는 맥락 기반 행동 제어를 달성하는 것.
• 명시적인 학습 단계 없이도 작동하고 향후 학습을 위한 유연성을 유지할 수 있는 단순하고 확장 가능한 알고리즘을 설계하는 것.

제안 방법

• 알고리즘은 모델 가중치 갱신을 위한 표준 역전파와 연속적인 잠재 공간에서의 기울기 하강을 통한 작업 잠재 표현 갱신을 번갈아 수행한다.
• 작업 정체성은 네트워크의 순방향 전파를 통해 기울기를 이용해 추론 시점에 잠재 벡터를 최적화함으로써 추론되며, 이는 지속적인 경험에 대한 동적 레이블링을 가능하게 한다.
• 잠재 공간은 각 작업에 대해 고정 크기의 임베딩으로 초기화되며, 기존 임베딩이 새로운 입력을 설명하지 못할 경우 새로운 작업이 탐지된다.
• 이 방법은 추론과 잠재 최적화를 위한 공통된 네트워크를 사용하며, 별도의 작업 추론 헤드나 버퍼가 필요 없도록 한다.
• 잠재 표현 갱신을 위한 기울기 갱신은 네트워크를 통해 역전파를 통해 계산되며, 오차 신호가 표현 형성에 유도 역할을 한다.
• 알고리즘은 명시적인 작업 경계나 레이블 없이도 종단 간(end-to-end), 비지도 방식으로 작동한다.

실험 결과

연구 질문

• RQ1 간단하고 생물학적으로 타당한 알고리즘이 작업 레이블이나 사전에 지정된 클러스터 수 없이 순차적 경험을 이산적인 작업들로 동적으로 분할할 수 있는가?
• RQ2 추론 시점의 잠재 표현 최적화가 지속 학습에서 분리된 표현과 전이 가능한 지식을 어떻게 가능하게 하는가?
• RQ3 이러한 시스템이 내부 작업 맥락에 따라 동일한 입력이 다른 출력을 유도할 수 있는 맥락 기반 행동 제어를 어느 정도 지원할 수 있는가?
• RQ4 이 알고리즘은 개방형 작업 시퀀스에 스케일링되면서도 플라스틱성을 유지하고 치명적인 기억 상실을 방지할 수 있는가?
• RQ5 잠재 공간에서의 기울기 하강 기법은 일반화 및 지식 전이 측면에서 대안적 방법과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 알고리즘은 치명적인 기억 상실을 크게 줄이며, 지속 학습 벤치마크에서 경쟁적인 시퀀스 종료 평균 정확도를 달성한다.
• 잠재 갱신을 통해 모델은 지식을 잘 인과된, 분리된 잠재 공간에 조직하며, 향후 및 과거 작업으로의 탄력적 지식 전이를 지원한다.
• 사전에 작업 수나 클러스터링 구조를 지정하지 않아도, 임의의 시간 스케일에서 시간적 사건을 탐지할 수 있다.
• 알고리즘은 동일한 입력이 잠재 벡터에 포함된 현재 작업 맥락에 따라 다른 반응을 유도할 수 있는 맥락 기반 행동 제어를 가능하게 한다.
• 잠재 공간 내에서의 검색과 적응을 통해 새로운 작업으로의 일반화가 가능하며, 향후 및 과거 지식 전이가 입증된다.
• 이 접근법은 확장 가능하며, 명시적인 학습 단계 없이 작동하므로 동적인 환경에서 개방형 수명 주기 학습에 적합하다.