[논문 리뷰] NREM and REM: cognitive and energetic gains in thalamo-cortical sleeping and awake spiking model

Chiara De Luca, Leonardo Tonielli외 9명|arXiv (Cornell University)|2022. 11. 13.

EEG and Brain-Computer Interfaces인용 수 5

한 줄 요약

이 연구는 NREM 및 REM 수면 주기를 모의하여 인지 성능와 에너지 효율성에 미치는 영향을 조사하기 위해 생물학적으로 타당한 이영역 척수피질 스파iking 신경망 모델을 제안한다. 모델은 수면 유도 시냅스 유연성 덕분에 기억 표현을 뚜렷하게 하고, 작동 빈도와 시냅스 활동을 각각 5%와 50% 감소시키며 총 에너지 소비량을 17% 감소시키지만 분류 정확도에 손상 없이, 새로운 다영역 연관성 형성과 수면 후 작업 성능 향상을 가능하게 한다.

ABSTRACT

Sleep is essential for learning and cognition, but the mechanisms by which it stabilizes learning, supports creativity, and manages the energy consumption of networks engaged in post-sleep task have not been yet modelled. During sleep, the brain cycles between non-rapid eye movement (NREM), a mainly unconscious state characterized by collective oscillations, and rapid eye movement (REM), associated with the integrated experience of dreaming. We propose a biologically grounded two-area thalamo-cortical plastic spiking neural network model and investigate the role of NREM - REM cycles on its awake performance. We demonstrate that sleep has a positive effect on energy consumption and cognitive performance during the post-sleep awake classification task of handwritten digits. NREM and REM simulated dynamics modify the synaptic structure into a sharper representation of training experiences. Sleep-induced synaptic modifications reduce firing rates and synaptic activity without reducing cognitive performance. Also, it creates novel multi-area associations. The model leverages the apical amplification, isolation and drive experimentally grounded principles and the combination of contextual and perceptual information. In summary, the main novelty is the proposal of a multi-area plastic model that also expresses REM and integrates information during a plastic dream-like state, with cognitive and energetic benefits during post-sleep awake classification.

연구 동기 및 목표

• 생물학적으로 타당한 신경망에서 NREM 및 REM 수면 단계가 인지 성능와 에너지 효율성에 미치는 영향을 모델링하기.
• 수면에 의해 유도되는 시냅스 유연성이 수면 후 기억 표현과 분류 정확도 향상에 기여하는지 조사하기.
• 신경 활동의 에너지 비용을 정량화하고, 수면이 성능을 훼손하지 않으면서도 전력 소비를 어떻게 줄이는지 평가하기.
• 수면이 새로운 다영역 연관성 형성과 맥락 및 지각 정보 통합에 어떻게 기여하는지 탐구하기.
• 특히 이원시 및 단원시 지각 상황에서 가중치 KNN 기반 모델과의 성능 비교를 통해 모델의 성능를 검증하기.

제안 방법

• 적응형 지수적 적분-화염(AdEx) 뉴런 모델과 스파이크 시퀀스 의존 시냅스 유연성(STDP)을 사용하여 유연성 있는 이영역 척수피질 스파이킹 신경망을 구축한다.
• 실험적 EEG 패tern을 바탕으로 NREM에서는 느린파동 진동, REM에서는 테타 대역 활동을 적용하여 NREM 및 REM 수면 상태를 모의한다.
• 분류 성능 평가에 가중치 KNN 알고리즘을 사용하며, 두 가지 변형을 사용한다: KNN-1D(독립적인 좌우 반구 처리) 및 KNN-2D(통합된 양안 처리).
• 에너지 소비는 기본 대사, 충격 발생, 시냅스 활동의 함수로 모델링되며, 식은 $ P = b + e\cdot\nu + c\cdot\omega $ 로 표현되며, 총 전력은 $ P_{\text{state}} \approx B + E\nu_{\text{state}} + C\omega_{\text{state}} $ 로 추정된다.
• MNIST 손글씨 숫자 데이터셋을 사용하여 수면 전, NREM 후, REM 후, 수면 후의 전력 및 성능 지표를 비교한다.
• 모의 수면 동안의 시냅스 수정이 작동 빈도, 시냅스 활동 및 네트워크 효율성에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 NREM 및 REM 수면 동역학은 척수피질 네트워크에서 수면 후 인지 성능에 어떻게 영향을 미치는가?
• RQ2 수면은 분류 정확도를 유지하거나 향상시키면서 전력 소비를 얼마나 줄이는가?
• RQ3 수면에 의해 유도된 시냅스 유연성은 성능 손실 없이 더 뚜렷한 기억 표현과 감소된 신경 활동을 가능하게 하는가?
• RQ4 수면 중 좌우 반구 입력의 통합은 분류 성능에 어떤 영향을 미치는가?
• RQ5 REM 수면은 새로운 다영역 연관성 형성과 기억 표현의 통합에 어떤 역할을 하는가?

주요 결과

• 모델은 수면 후 총 전력 소비가 17% 감소했으며, 이는 작동 빈도 5% 감소와 시냅스 활동 50% 감소에 기인하였다.
• 신경 활동 감소에도 불구하고 수면 후 분류 정확도는 높은 수준을 유지하여, 성능 저하 없이 시냅스 효율성이 향상되었음을 시사한다.
• 수면에 의해 유도된 시냅스 유연성은 더 뚜렷한 기억 표현을 이끌어내어 유사한 훈련 예제를 구분하는 능력을 향상시켰다.
• 모델은 REM 수면이 맥락 및 지각 정보 통합을 지원하여 새로운 다영역 연관성을 형성할 수 있음을 보여주었다.
• KNN-2D 성능는 이원시 지각의 상한선에 가까워졌으며, 이는 ThaCo 분류가 최적에 가까울 때 좌우 반구 통합이 효과적으로 이루어졌음을 나타낸다.
• 모델의 성능는 가중치 KNN 기반 모델과 유사하여 생물학적 타당성과 기능적 관련성이 검증되었다.