[論文レビュー] A Theory of Natural Intelligence

Christoph von der Malsburg, Thilo Stadelmann+1 more|arXiv (Cornell University)|Apr 22, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本論文は、自然知能が脳内の構造的規則性から生じることを提案している。この規則性は自己組織化ネットワーク断片として符号化されており、安定的で繰り返し現れるネットワークパターンである。これらの断片は、抽象的な目的と具体的な感覚運動的経験の間をホメオモーフィック写像によって結ぶ強力な帰納的バイアスとして機能し、迅速な学習、一般化、自律的行動を可能にする。

ABSTRACT

Introduction: In contrast to current AI technology, natural intelligence -- the kind of autonomous intelligence that is realized in the brains of animals and humans to attain in their natural environment goals defined by a repertoire of innate behavioral schemata -- is far superior in terms of learning speed, generalization capabilities, autonomy and creativity. How are these strengths, by what means are ideas and imagination produced in natural neural networks? Methods: Reviewing the literature, we put forward the argument that both our natural environment and the brain are of low complexity, that is, require for their generation very little information and are consequently both highly structured. We further argue that the structures of brain and natural environment are closely related. Results: We propose that the structural regularity of the brain takes the form of net fragments (self-organized network patterns) and that these serve as the powerful inductive bias that enables the brain to learn quickly, generalize from few examples and bridge the gap between abstractly defined general goals and concrete situations. Conclusions: Our results have important bearings on open problems in artificial neural network research.

研究の動機と目的

• 現在のAIシステムと比較して、自然知能が優れた学習速度、一般化能力、自律性を示す理由を説明すること。
• 遺伝子や経験だけでは得られない、効率的な学習を可能にするために欠落しているメカニズム—神経ネットワーク内の構造的規則性—を同定すること。
• ネットワークの自己組織化によって形成されるネット断片が、知能的行動の根幹となる帰納的バイアスを果たすと提唱すること。
• 共通の構造的パターンを介して、抽象的な行動スキーマと具体的な知覚的経験の間の抽象的ギャップを埋めること。
• 脳の構造的規則性を模倣することで、人工系における自律的かつ目的志向的な学習の統合的フレームワークを提供すること。

提案手法

• 脳の結合性を生成するためのコルモゴロフ計算量としてのネットワーク自己組織化を提唱し、複雑な神経構造を生成するのに必要な情報量を最小限に抑える。
• 自己組織化され、再帰的なネットワークパターンとしての「ネット断片」を導入し、構造的規則性を符号化し、帰納的バイアスとして機能させる。
• 共通の構造的パターンを介して、抽象的な行動スキーマと具体的なシーン表現との間をホメオモーフィック写像で結ぶ。
• シーン表現を、環境の本質的な関係的および空間的構造を捉えるネット断片の合成としてモデル化する。
• コルモゴロフ複雑度の低さの概念を適用し、脳の結合性が最小限のアルゴリズム的情報量で記述可能であり、極めて高い構造的規則性を示していると主張する。
• メタラーニングが、経験を記憶に固定するための適切な抽象化レベルを特定する役割を果たすと提唱する。

実験結果

リサーチクエスチョン

• RQ1 遺伝子や経験の情報量が少ないにもかかわらず、自然知能がどのように少量のデータで高速かつ一般化可能な学習を達成できるのか。
• RQ2 脳内に存在するどの構造的メカニズムが、先天的な行動スキーマから柔軟で文脈に応じた行動への移行を可能にするのか。
• RQ3 外部プログラミングや量子効果に依存せずに、神経ネットワークダイナミクスからどのように考えや想像が生じるのか。
• RQ4 ネット断片として符号化された構造的規則性が、効率的学習のための帰納的バイアスをどのように果たすのか。
• RQ5 人工系が脳の構造的自己組織化を模倣することで、どのように自律性と常識的推論を達成できるのか。

主な発見

• 人間の脳の結合性を記述するにはペタバイトの情報が必要であるが、その生成に使われるコルモゴロフアルゴリズムの複雑度ははるかに低く、極めて高い構造的規則性を示唆している。
• 自己組織化され、再発するネットワークパターンであるネット断片は、ドメイン特異的な帰納的バイアスとして機能し、迅速な学習と一般化を可能にする。
• 視覚皮質マップの発生的発達は、最小限の情報量で構造的規則性を生成する自己組織化のメカニズムを示す代表例である。
• 脳内の構造的規則性により、少数の例からの学習や、観測済みデータを超えた一般化が可能となり、現在のAIシステムの限界を克服できる。
• 行動スキーマとシーン表現の間のホメオモーフィック写像により、脳は抽象的な目的と具体的な感覚運動的経験を結びつけることができる。
• 人間知能が動物知能を上回る理由は、先天的なネット断片に基づく神経構造に、豊富で文化的に蓄積されたスキーマが組み込まれていることに起因する。