[論文レビュー] The Convergence of AI code and Cortical Functioning -- a Commentary

David Mumford|arXiv (Cornell University)|Oct 18, 2020

AI-based Problem Solving and Planning被引用数 12

ひとこと要約

この解説では、現代の深層学習アーキテクチャ—特に整流線形ユニット（ReLU）と注目メカニズムを備えた深層ニューラルネットワーク—が、哺乳類の脳における新皮質計算と構造的・機能的に収束していると主張している。神経科学とAIの知見を統合し、一般AIは記号的推論ではなく、分散的で階層的かつフィードバック補強付きの深層学習システムから出現すると考える。こうしたシステムは皮質組織の模倣を試みるが、人間の解釈には曇りやすい。

ABSTRACT

Neural nets, one of the oldest architectures for AI programming, are loosely based on biological neurons and their properties. Recent work on language applications has made the AI code closer to biological reality in several ways. This commentary examines this convergence and, in light of what is known of neocortical structure, addresses the question of whether ``general AI'' looks attainable with these tools.

研究の動機と目的

• 人工ニューラルネットワークと生物学的新皮質計算の間の整合性の増大を検討すること。
• 現代の深層学習アーキテクチャが一般人工知能に到達できるかどうかを評価すること。
• 認知およびAIにおける分散表現と離散的トークンの役割を調査すること。
• 人間水準の知能を達成するにあたり、フィードバック経路と記憶システムがなぜ不可欠であるかを探索すること。
• 現在のAIシステム（例：トランスフォーマー）が皮質原則を反映しているのか、それとも不足しているのかを評価すること。

提案手法

• ReLU活性化関数を用いた区分線形関数としての深層ニューラルネットワークのモデル化、バックプロパゲーションによる学習可能重みを伴う階層的層構造。
• バックプロパゲーションが膨大なパラメータ数にもかかわらず一般化を可能にし、過学習を回避する仕組みを分析すること。
• 残留接続、ドロップアウト、バッチ正規化などの人工ニューラルネットワーク要因が、既知の生物学的神経機構とどのように類似しているかを比較すること。
• フィードバックが皮質処理において変化を検出・比較することで認識を可能にする役割を分析すること。
• トークンベースの表現（例：word2vec、BERT）と分散ベクトル表現を対比し、認知をモデル化する際の違いを検討すること。
• 意識は個々のニューロンや離散的記号から生じるのではなく、分散ニューラル活動を高次元のデコーダーが解釈することで生じる可能性を提唱する。これは、BERTが連続的表現から離散的トークンを出力するのと同様である。

実験結果

リサーチクエスチョン

• RQ1 現代の深層ニューラルネットワークは、哺乳類新皮質の構造的・機能的組織とどの程度類似しているか？
• RQ2 バックプロパゲーションで訓練されたエンドツーエンドの深層ネットワークのみで一般AIを達成できるのか、それともフィードバックや記憶といった追加メカニズムが必要か？
• RQ3 言語が思考を形作るというホルフ仮説—言語が思考を形作る—は、現代のAIアーキテクチャによって支持されるのか、それとも分散表現の方が人間認知をよりよく反映しているのか？
• RQ4 勾配ベースの深層ネットワークが高容量にもかかわらず、なぜこれほどうまく一般化するのか。これは生物学的学習に何を示唆するのか？
• RQ5 皮質におけるフィードバック接続は、知覚と認識にどのように寄与しているのか。人工系にこれを意味的に再現できるのか？

主な発見

• ReLU、残留接続、ドロップアウト、バッチ正規化を用いた現代の深層ニューラルネットワークは、生物学的妥当性と性能の両方を高め、皮質計算への収束を示唆している。
• これらのネットワークは複雑さにもかかわらず、未知のデータに対して良好に一般化する。理論的にはまだ完全に説明されておらず、生物学的学習に類似した頑健性を示している。
• BERT やトランスフォーマーなどのモデルの成功は、離散的トークンではなく分散表現の方が、思考や言語の下位構造をよりよく捉えていることを示唆している。
• 入力と記憶の間の変化を検出するフィードバック機構は、認識と理解に不可欠であり、現在のAIアーキテクチャではまだ十分に反映されていない。
• 意識は個々のニューロンや離散的記号から生じるのではなく、分散ニューラル活動を高次元のデコーダーが解釈することで生じる可能性がある。これは、BERTが連続的表現から離散的単語を出力するのと類似している。
• 将来のAIシステムは、単純な説明が困難な複雑な分散表現によって駆動されるため、解釈が困難で、人間の認知の謎に類似した不透明性を持つだろう。