[논문 리뷰] Modelling continual learning in humans with Hebbian context gating and exponentially decaying task signals

Timo Flesch, Dávid Nagy외 2명|arXiv (Cornell University)|2022. 03. 22.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 히브시안 맥락 게이팅과 지수적으로 감쇠하는 작업 신호를 통합함으로써 인공 신경망에서 계속 학습을 가능하게 하는 생물학적으로 영감을 받은 딥 러닝 모델을 제안한다. '느슨한' 작업 유닛과 작업 유닛과 은닉 유닛 간의 연결을 강화하는 히브시안 학습 규칙을 도입함으로써, 순차적 작업 학습 중 치명적인 잊음 현상을 방지하고, 특히 카테고리 경계의 잘못된 추정과 관련된 차단형 대비 혼합형 학습에서 인간의 행동 데이터를 정확히 재현한다.

ABSTRACT

Humans can learn several tasks in succession with minimal mutual interference but perform more poorly when trained on multiple tasks at once. The opposite is true for standard deep neural networks. Here, we propose novel computational constraints for artificial neural networks, inspired by earlier work on gating in the primate prefrontal cortex, that capture the cost of interleaved training and allow the network to learn two tasks in sequence without forgetting. We augment standard stochastic gradient descent with two algorithmic motifs, so-called "sluggish" task units and a Hebbian training step that strengthens connections between task units and hidden units that encode task-relevant information. We found that the "sluggish" units introduce a switch-cost during training, which biases representations under interleaved training towards a joint representation that ignores the contextual cue, while the Hebbian step promotes the formation of a gating scheme from task units to the hidden layer that produces orthogonal representations which are perfectly guarded against interference. Validating the model on previously published human behavioural data revealed that it matches performance of participants who had been trained on blocked or interleaved curricula, and that these performance differences were driven by misestimation of the true category boundary.

연구 동기 및 목표

• 표준 딥 네트워크에서의 간섭에도 불구하고 인간이 순차적으로 다수의 작업을 학습할 때 간섭을 최소화하는 방식을 설명하는 것.
• 치명적인 잊음 없이 인간과 유사한 계속 학습을 모방할 수 있는 생물학적으로 타당한 딥 러닝 프레임워크를 개발하는 것.
• 차단형 대비 혼합형 작업 학습을 포함한 인간 실험에서의 성능 차이를 설명하는 것.
• 특히 카테고리 경계를 잘못 추정할 때 발생하는 작업 간 전환의 인지적 비용을 모델링하는 것.
• 기존에 발표된 인간 행동 데이터를 기반으로 모델을 검증하는 것.

제안 방법

• 시간이 지남에 따라 느리게 변화하는 '느슨한' 작업 유닛을 통합하여 혼합형 학습에서 전환 비용을 유도한다.
• 작업 유닛과 작업 정보를 인코딩하는 은닉 유닛 간의 연결을 강화하는 히브시안 학습 규칙을 적용한다.
• 인간 인지에서 작업 맥락의 일시적인 성격을 시뮬레이션하기 위해 지수적으로 감쇠하는 작업 신호를 사용한다.
• 표준 확률적 경사 하강법에 이 두 가지 알고리즘 모티프를 통합하여 표현 학습을 이끌어낸다.
• 작업 유닛이 은닉 표현을 게이팅하도록 네트워크를 설계하여, 다양한 작업 간에 상호 간섭이 없는 수직적인 표현을 촉진한다.
• 모델의 행동를 인간 데이터와 비교하기 위해 차단형과 혼합형 학습 제도를 모두 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 표준 딥 네트워크에서의 간섭에도 불구하고 인간은 순차적으로 작업을 학습할 때 어떻게 치명적인 간섭을 피할 수 있는가?
• RQ2 인간 학습에서 차단형 대비 혼합형 학습 간 성능 차이를 이끄는 계산적 메커니즘은 무엇인가?
• RQ3 생물학적으로 영감을 받은 신경망 모델은 인간의 계속 학습 작업에서 행동 패턴을 재현할 수 있는가?
• RQ4 느슨한 작업 유닛과 히브시안 플라스티시티 간의 상호작용은 순차적 학습 중에 간섭을 어떻게 줄이는가?
• RQ5 왜 인간은 혼합형 학습에서 카테고리 경계를 잘못 추정하는가, 그리고 이는 계산적으로 어떻게 포착될 수 있는가?

주요 결과

• 모델은 차단형 대비 혼합형 학습 조건에서 인간의 행동 성능 차이를 성공적으로 재현한다.
• '느슨한' 작업 유닛은 혼합형 학습 중에 공동 맥락 무시 솔루션을 향한 편향을 유도하는 전환 비용을 도입한다.
• 히브시안 학습 단계는 수직적인 작업 표현을 생성하는 게이팅 메커니즘의 형성을 가능하게 하여 간섭을 방지한다.
• 모델의 성능은 카테고리 경계 추정 작업에서 인간 참가자들과 매우 유사하게 나타난다.
• 인간 데이터에서 성능 차이의 주요 원인은 진정한 카테고리 경계의 잘못된 추정임이 밝혀졌으며, 이는 모델의 게이팅 동역학을 통해 포착된다.
• 보조 분석을 통해 모델의 예측이 여러 시뮬레이션 조건에서 뚜렷한 강건성을 보임을 확인하였다.