[논문 리뷰] Deep Learning and the Global Workspace Theory

Rufin VanRullen, Ryota Kanai|arXiv (Cornell University)|2020. 12. 04.

Neural dynamics and brain function참고 문헌 73인용 수 4

한 줄 요약

이 논문은 다수의 전문화된 신경망 간의 비지도 신경 번역을 통해 통합적이고 다모달(Global Latent Workspace, GLW)인 글로벌 잠재 공간을 구축함으로써, 글로벌 워크스페이스 이론(GWT)에 기반한 딥러닝 구현을 제안한다. 공통된 잠재 공간을 통해 다중 모odal 정보 공유를 가능하게 함으로써, 이 프레임워크는 고차원적 인지, 주의, 의식 유사 통합을 지원하며, 검증 가능한 신경과학 예측을 수반하는 뇌에 영감을 받은 AI 아키텍처를 제공한다.

ABSTRACT

Recent advances in deep learning have allowed Artificial Intelligence (AI) to reach near human-level performance in many sensory, perceptual, linguistic or cognitive tasks. There is a growing need, however, for novel, brain-inspired cognitive architectures. The Global Workspace theory refers to a large-scale system integrating and distributing information among networks of specialized modules to create higher-level forms of cognition and awareness. We argue that the time is ripe to consider explicit implementations of this theory using deep learning techniques. We propose a roadmap based on unsupervised neural translation between multiple latent spaces (neural networks trained for distinct tasks, on distinct sensory inputs and/or modalities) to create a unique, amodal global latent workspace (GLW). Potential functional advantages of GLW are reviewed, along with neuroscientific implications.

연구 동기 및 목표

• 글로벌 워크스페이스 이론(GWT)에 기반한 뇌에 영감을 받은 인공지능을 위한 인지 아키텍처를 개발하기 위해.
• 다양한 전문화된 신경망에서 온 정보의 다중 모달 통합을 공유된 다모달 잠재 공간을 통해 가능하게 하기 위해.
• 기존 딥러닝 구성 요소를 활용하여 글로벌 잠재 공간(GLW)을 실제 구현 가능한 로드맵으로 제공하기 위해.
• AI 메커니즘을 의식과 주의의 신경과학 원리와 일치시킴으로써 인공지능과 신경과학을 연결하기 위해.
• 정보 방송 및 신경 회로의 발화와 관련된 검증 가능한 예측을 도출하기 위해.

제안 방법

• 각기 다른 감각 또는 인지 작업(예: 시각, 자연어 처리, 운동 제어)을 위해 훈련된 다수의 전문화된 딥 뉴럴 네트워크를 사용한다.
• 이러한 전문화된 모듈의 잠재 공간 간 비지도 신경 번역을 통해 다중 모달 정보 교환을 가능하게 한다.
• 다양한 모odal에서 온 정보가 통합되는 공통의 다모달 표현 공간으로서 글로벌 잠재 공간(GLW)을 구축한다.
• 비병렬이며 겹치지 않는 잠재 공간 간의 번역을 가능하게 하기 위해 사이클-일致성 적대적 네트워크, 이중 학습, 도메인 적응 기법을 활용한다.
• 뇌의 상향식 및 하향식 주의와 유사하게 중요한 정보를 선택하고 GLW로 방송하기 위해 주의 메커니즘을 구현한다.
• 장거리 순환 연결과 발화 동역학을 활용하여, 글로벌 신경 워크스페이스(GNW) 모델에서 관찰되는 전부 또는 없음(all-or-none)의 정보 방송을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 딥러닝 아키텍처는 어떻게 인공 시스템에서 글로벌 워크스페이스 이론(GWT)의 核심 메커니즘을 실현할 수 있는가?
• RQ2 다모달이고 공통된 잠재 공간은 다중 모달 통합과 고차원적 인지에 어떻게 기여하는가?
• RQ3 다른 잠재 공간 간의 비지도 신경 번역은 어떻게 전문화된 모듈 간의 정보 방송을 지원하는가?
• RQ4 이러한 딥러닝 기반 GLW 프레임워크는 어떤 신경과학적 서명(예: 신경 발화)을 재현하거나 예측할 수 있는가?
• RQ5 이 아키텍처는 어떻게 인공 시스템에서 주의, 실행 기능 및 의식 유사 인식을 지원할 수 있는가?

주요 결과

• 제안된 글로벌 잠재 공간(GLW)은 전문화된 신경망의 잠재 공간 간 비지도 번역을 통해 다중 모달 정보 통합을 가능하게 한다.
• 다양한 모달 간 정보 접근을 가능하게 함으로써, 문제 해결 및 조율된 의사결정과 같은 고차원적 인지 기능을 지원한다.
• 모든 또는 없음의 활성화를 특징으로 하는 넓은 뇌 유사 네트워크의 신경 발화 동역학은 순환 연결과 주의 기반 방송을 통해 GLW에서 시뮬레이션될 수 있다.
• 모델은 신경과학 연구에 대해 검증 가능한 프레임워크를 제공하며, 전역적 정보 방송이 전두엽, 편측-후두엽 및 시상 피질에서 지속적이고 광범위한 신경 활성화와 관련이 있음을 예측한다.
• 기존의 딥러닝 구성 요소(예: 사이클-GAN, 이중 학습, 도메인 적응)만으로도 GLW의 핵심 메커니즘을 충분히 실현 가능하므로 현재 기술로도 실현 가능함을 시사한다.
• 공통된 워크스페이스를 통한 정보의 전역 가용성 메커니즘을 모방함으로써, 이 접근법은 의식 유사 성질을 지닌 인공 시스템으로의 길을 열어준다.