[논문 리뷰] A Neural Network Model of Continual Learning with Cognitive Control

Jacob Russin, Maryam Zolfaghar외 3명|arXiv (Cornell University)|2022. 02. 09.

Memory Processes and Influences인용 수 6

한 줄 요약

이 논문은 지속적 학습 중 치명적 기억상실을 방지하기 위해 전측prefrontal 촉수(PFC)의 인지적 제어 메커니즘을 갖춘 신경망 모델을 제안한다. 특히 시험 시험이 블록화된 조건에서 효과적이다. PFC에서 활성 유지에 대한 편향을 도입함으로써 간섭이 감소하여 블록화 조건에서 학습 성능이 향상되며, 인간이 블록화를 선호하는 데 기여하는 계산적 설명을 제공한다.

ABSTRACT

Neural networks struggle in continual learning settings from catastrophic forgetting: when trials are blocked, new learning can overwrite the learning from previous blocks. Humans learn effectively in these settings, in some cases even showing an advantage of blocking, suggesting the brain contains mechanisms to overcome this problem. Here, we build on previous work and show that neural networks equipped with a mechanism for cognitive control do not exhibit catastrophic forgetting when trials are blocked. We further show an advantage of blocking over interleaving when there is a bias for active maintenance in the control signal, implying a tradeoff between maintenance and the strength of control. Analyses of map-like representations learned by the networks provided additional insights into these mechanisms. Our work highlights the potential of cognitive control to aid continual learning in neural networks, and offers an explanation for the advantage of blocking that has been observed in humans.

연구 동기 및 목표

• 지속적 학습 중 전측prefrontal 촉수(PFC)의 인지적 제어 메커니즘이 신경망에서 치명적 기억상실을 어떻게 완화할 수 있는지 조사하기.
• PFC가 활성 유지에 대한 편향을 지닐 때, 블록화된 시험(한 차원씩 학습)이 번갈아 학습보다 더 나은 성능을 내는지 테스트하기.
• 인지적 제어가 지속적 학습 중 네트워크 내 지ap-like 표현 형성에 어떻게 영향을 미치는지 살펴보기.
• 이전 fMRI 연구에서 관찰된 인간의 블록화 대비 번갈아 학습에서의 행동 우위를 계산 모델을 통해 설명하기.

제안 방법

• 모델는 두 차원(인기도와 능력)에 따라 얼굴 간의 상호 비교를 포함하는 사회적 계층 과제를 수행하는 전향형 신경망을 사용한다.
• 인지적 제어는 작업 맥락에 따라 주 네트워크의 활동을 조절하는 게이팅 메커니즘을 사용하는 PFC 모듈을 통해 구현된다.
• PFC는 지속적인 활동(활성 유지)에 대한 편향을 포함하며, 이는 다양한 맥락에서 제어 신호의 강도에 영향을 준다.
• 모델는 두 조건에서 훈련된다: 번갈아 학습(무작위로 섞인 자극)과 블록화 학습(한 차원씩 학습).
• 대표성 유사도 분석과 차원 압축 지표를 사용하여 인지적 제어가 네트워크 내부 표현에 어떻게 영향을 미치는지 평가한다.
• 학습 성능과 블록 간에 유지되는 학습된 표현의 안정성 측면에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 시험 시험이 블록화된 조건에서 인지적 제어 메커니즘이 갖춘 신경망이 치명적 기억상실을 방지할 수 있는가?
• RQ2 PFC에서 활성 유지에 대한 편향이 블록화 대비 번갈아 학습에서 성능 우위를 가져오는가?
• RQ3 인지적 제어는 네트워크 내 지도-like 표현 형성에 어떻게 영향을 미치는가?
• RQ4 왜 인간은 번갈아 학습보다 블록화 조건에서 더 나은 학습 성능을 보이는가?
• RQ5 인지적 제어의 강도와 맥락 전환 비용 사이에 어떤 상충 관계가 존재하는가?

주요 결과

• 인지적 제어를 갖춘 모델은 블록화된 학습 조건에서 치명적 기억상실을 성공적으로 방지하며, 블록 간에 안정된 표현을 유지한다.
• PFC에서 활성 유지에 대한 편향은 블록화 조건에서 성능 우위를 가져오지만, 번갈아 학습 조건에서는 제어 신호의 간섭으로 인해 학습이 저해된다.
• 인지적 제어는 지도-like 표현에서 관련 없는 차원을 압축시켜, 겹치지 않는 학습 패tern이 나타나도록 한다.
• 모델는 PFC에서의 활성 유지가 상충 관계를 만든다는 것을 보여주며, 더 강한 제어는 기억상실을 줄이지만 전환 비용을 증가시켜 블록화 우위를 설명한다.
• 대표성 분석 결과, 인지적 제어가 네트워크 활동을 조절하여 겹치지 않는 패턴에서의 학습을 선호함을 확인한다. 특히 블록화 조건에서 두드러진다.
• 결과는 인지적 제어 메커니즘이 인간의 블록화 우위를 설명할 수 있으며, 이러한 전략이 표준 학습 규칙에서는 필수적이지 않더라도 여전히 효과적이라는 점을 시사한다.