[論文レビュー] Deep Learning and the Global Workspace Theory

Rufin VanRullen, Ryota Kanai|arXiv (Cornell University)|Dec 4, 2020

Neural dynamics and brain function参考文献 73被引用数 4

ひとこと要約

本論文は、複数の専門的ニューラルネットワーク間の教師なしニューラル翻訳を通じて統合的で模态性のないグローバル・ラティント・ワークスペース（GLW）を構築することにより、グローバル・ワークスペース理論（GWT）のディープラーニング実装を提案する。共有されたラティント空間を通じたクロスモーダルな情報共有を可能にすることで、フレームワークは高レベルの認知、注意、意識に類似した統合を支援し、検証可能な神経科学的予測を提示する脳にインspiredされたAIアーキテクチャを提供する。

ABSTRACT

Recent advances in deep learning have allowed Artificial Intelligence (AI) to reach near human-level performance in many sensory, perceptual, linguistic or cognitive tasks. There is a growing need, however, for novel, brain-inspired cognitive architectures. The Global Workspace theory refers to a large-scale system integrating and distributing information among networks of specialized modules to create higher-level forms of cognition and awareness. We argue that the time is ripe to consider explicit implementations of this theory using deep learning techniques. We propose a roadmap based on unsupervised neural translation between multiple latent spaces (neural networks trained for distinct tasks, on distinct sensory inputs and/or modalities) to create a unique, amodal global latent workspace (GLW). Potential functional advantages of GLW are reviewed, along with neuroscientific implications.

研究の動機と目的

• グローバル・ワークスペース理論（GWT）に基づく、脳にインスパイアされた人工知能の認知アーキテクチャを開発すること。
• 異なるモダリティからの情報統合を、共有された模态性のないラティント空間を通じて実現すること。
• 既存のディープラーニングコンponentsを用いて、グローバル・ラティント・ワークスペース（GLW）を実装可能なロードマップを提供すること。
• AIと神経科学の橋渡しをすることにより、意識と注意の神経科学的原則とAIメカニズムを一致させること。
• 情報ブロードキャストと神経的 ignitions に関する神経科学的研究の検証可能な予測を生成すること。

提案手法

• 視覚、自然言語処理（NLP）、運動制御などの異なるセンサリーや認知的タスクに特化した複数の専門的ディープニューラルネットワークを用いる。
• これらの専門的モジュールのラティント空間間の教師なしニューラル翻訳を用いて、クロスモーダルな情報交換を可能にする。
• 視覚的・聴覚的・運動的など多様なモダリティからの情報統合が可能な、共有された模态性のない表現空間としてグローバル・ラティント・ワークスペース（GLW）を構築する。
• 非平行で重複のないラティント空間間の翻訳を可能にするために、サイクル整合性のある敵対的ネットワーク、デュアル学習、ドメイン適応の技術を活用する。
• 注視（attention）メカニズムを実装し、上位からの制御と下位からの刺激に類似した注視を模倣するように、注目すべき情報をGLWにブロードキャストする。
• 長距離の再帰的接続と ignitions 動態を活用し、グローバル・ニューロン・ワークスペース（GNW）モデルで観察されるような「すべてか、まったくないか」のブロードキャストを模倣する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングアーキテクチャは、人工系においてグローバル・ワークスペース理論（GWT）のコアメカニズムをどのように実装できるか？
• RQ2 模态性のない共有ラティント空間は、クロスモーダル統合と高レベル認知を可能にする上で果たす役割は何か？
• RQ3 異なるラティント空間間の教師なしニューラル翻訳は、専門的モジュール間での情報ブロードキャストをどのように支援するか？
• RQ4 このようなディープラーニングベースのGLWフレームワークによって再現または予測可能な神経科学的サイン（例：神経的 ignitions）は何か？
• RQ5 このアーキテクチャは、人工系における注視、エグゼクティブ機能、および意識に類似した自己認識をどのように支援するか？

主な発見

• 提案されたグローバル・ラティント・ワークスペース（GLW）は、専門的ニューラルネットワークのラティント空間間の教師なし翻訳を通じて、複数のモジュール間での情報統合を可能にする。
• 異なるモダリティ間での情報への共有アクセスを可能にすることで、問題解決や意思決定の協調的統合といった高レベル認知機能を支援する。
• すべてか、まったくないかの活性化を示す神経的 ignitions 動態—広範な脳に類似したネットワークの活性化—は、再帰的接続と注視ベースのブロードキャストによりGLWでシミュレート可能である。
• このモデルは神経科学に検証可能なフレームワークを提供し、グローバルな情報ブロードキャストが前頭前野、側頭頭頂連合皮質、cingulate皮質で広範かつ持続的な神経活性化と相関することを予測する。
• 既存のディープラーニングコンponents（例：cycle-GAN、デュアル学習、ドメイン適応）は、GLWのコアメカニズムを実装するのに十分であり、現在の技術で実現可能であることを示唆する。
• 共有ワークスペースを通じたグローバルな情報可用性を模倣することで、意識に類似した特性を有する人工系への道筋を提供する。