[論文レビュー] Using Adaptive Dynamic Programming to Understand and Replicate Brain Intelligence: the Next Level Design

Paul J. Werbos|ArXiv.org|Dec 24, 2006

Adaptive Dynamic Programming Control参考文献 2被引用数 5

ひとこと要約

本論文は、創造性、空間的・時間的複雑性の管理、および利 utility 基盤学習を強調することで、より高レベルの脳知能をモデル化・再現するためのフレームワークとして、適応的動的プログラミング（ADP）の利用を提案する。現在のモデルと脳の能力のギャップを埋めるために、先進的なADPツールを導入し、第一世代および第二世代の適応的クライアントシステムを超えて、人工一般知能のための次世代アーキテクチャへと発展させる。

ABSTRACT

Since the 1960s I proposed that we could understand and replicate the highest level of intelligence seen in the brain, by building ever more capable and general systems for adaptive dynamic programming (ADP), which is like reinforcement learning but based on approximating the Bellman equation and allowing the controller to know its utility function. Growing empirical evidence on the brain supports this approach. Adaptive critic systems now meet tough engineering challenges and provide a kind of first-generation model of the brain. Lewis, Prokhorov and myself have early second-generation work. Mammal brains possess three core capabilities, creativity/imagination and ways to manage spatial and temporal complexity, even beyond the second generation. This paper reviews previous progress, and describes new tools and approaches to overcome the spatial complexity gap.

研究の動機と目的

• 適応的動的プログラミング（ADP）の原則を拡張することで、人間レベルの知能をモデル化・再現する次世代フレームワークを開発すること。
• 既存の脳にインspiredなAIモデルにおける空間的複雑性のギャップを解消するため、新しいADPツールおよびアーキテクチャを導入すること。
• 神経科学の知見（特に利 utility 機能、想像力、時間的処理）を統合的に計算フレームワークに統合すること。
• 第一世代および第二世代の適応的クライアントシステムを越えて、哺乳類の脳機能の包括的モデルへと発展させること。
• 脳の最高レベルの認知機能（計画や創造性など）を模倣する人工システムを構築するための理論的・手法的基盤を提供すること。

提案手法

• 適応的動的プログラミング（ADP）を活用し、ベルマン方程式の近似と既知の利 utility 機能を組み合わせた強化学習の亜種としての基盤を構築する。
• 想像力や長期的計画といった高レベルの認知機能を再現するため、再帰的利 utility 近似を用いた拡張されたADPアーキテクチャを導入する。
• 利 utility 基盤学習を用いて、前頭前野およびparietal皮質領域における脳のメカニズムに類似した意思決定プロセスをシミュレートする。
• 神経時計と予測コーディングにインスパイアされた、時間的および空間的抽象化メカニズムを統合し、複雑なマルチステップタスクを管理する。
• 自己一貫性のある計画と将来状態の内部シミュレーションを組み込むことで、従来の適応的クライアントモデルを拡張する。
• 神経生物学的証拠と制御理論的原則を組み合わせたハイブリッド手法を採用し、スケーラブルで生物学的に妥当な学習システムを設計する。

実験結果

リサーチクエスチョン

• RQ1 適応的動的プログラミングをどのように拡張すれば、創造性や想像力といった脳の最高レベルの認知機能をモデル化できるか？
• RQ2 現在のADPベースの脳知能モデルにおける空間的複雑性ギャップを克服するために、どのようなアーキテクチャ的・アルゴリズム的改善が必要か？
• RQ3 脳の内部報酬および予測システムに類似する形で、利 utility 機能を効果的にモデル化・学習するにはどうすればよいか？
• RQ4 既存の適応的クライアントシステムは、基本的な強化学習を越えて哺乳類の脳機能をどれほど再現できていないのか？
• RQ5 時間的および空間的抽象化をADPにどのように統合し、長期間計画および複雑な意思決定を支援できるか？

主な発見

• 本論文は、適応的動的プログラミングが、高レベルの脳知能をモデル化・再現するための実現可能で理論的かつ計算的フレームワークを提供することを確立している。
• 空間的複雑性ギャップを解消するための新しいADPツールが提案され、認知のよりスケーラブルで生物学的に妥当なモデルの実現が可能になった。
• 理論的および実証的証拠により、利 utility 機能と再帰的計画が脳に類似した知能の役割を果たすことが支持されており、観察された神経メカニズムと整合している。
• ADPシステムに内部シミュレーションと想像力を統合することで、より強固で柔軟な意思決定が可能となり、人間レベルの認知的パフォーマンスに近づいた。
• このフレームワークは第一世代および第二世代の適応的クライアントを越えて、脳にインスパイアされた人工知能の第三世代モデルへの道筋を提供している。
• 時間的ダイナミクスと神経時計メカニズムの統合により、長期間タスクの管理と予測的推論の能力が向上した。