[論文レビュー] Synergetic Learning Systems: Concept, Architecture, and Algorithms

Ping Guo, Qian Yin|arXiv (Cornell University)|May 31, 2020

Neural Networks and Applications参考文献 34被引用数 10

ひとこと要約

本論文は、自然の自己組織化および進化的原則にインspiredされた人工知能フレームワーク、シンネルギスティック・ラーニング・システム（SLS）を提案する。複数のモデルが協働的・競争的学習を通じて共進化することで、制御可能で出現的な知能を達成する。このシステムは自由エネルギー最小化と統計力学を用いて、安定で解釈可能で一般化可能な解へと進化を導く。

ABSTRACT

Drawing on the idea that brain development is a Darwinian process of ``evolution + selection'' and the idea that the current state is a local equilibrium state of many bodies with self-organization and evolution processes driven by the temperature and gravity in our universe, in this work, we describe an artificial intelligence system called the ``Synergetic Learning Systems''. The system is composed of two or more subsystems (models, agents or virtual bodies), and it is an open complex giant system. Inspired by natural intelligence, the system achieves intelligent information processing and decision-making in a given environment through cooperative/competitive synergetic learning. The intelligence evolved by the natural law of ``it is not the strongest of the species that survives, but the one most responsive to change,'' while an artificial intelligence system should adopt the law of ``human selection'' in the evolution process. Therefore, we expect that the proposed system architecture can also be adapted in human-machine synergy or multi-agent synergetic systems. It is also expected that under our design criteria, the proposed system will eventually achieve artificial general intelligence through long term coevolution.

研究の動機と目的

• 深層学習の停滞と限界、特に解釈不能性、共通理解の欠如、不安定性を解決すること。
• 自己組織化、協同的進化、人間主導の選択を統合した包括的AIアーキテクチャを構築し、人工汎用知能を達成すること。
• システム理論的アプローチにより、深層ニューラルネットワークにおけるトポロジー設計とモデルの解釈可能性の課題を克服すること。
• 熱力学的および統計力学的原則に基づくAI進化の理論的基盤を確立し、『知能の熱力学』に類似した枠組みを提供すること。

提案手法

• 共進化の共通目的の下で、競争と協力を通じて相互に進化する複数のエージェント（モデルやエージェント）を含む、マルチエージェントでオープンな複雑系アーキテクチャを提案する。
• システム進化の原動力として自由エネルギー最小化の原則を採用し、安定でエントロピーが低く秩序の高い状態へ向かうようにシステムを誘導する。
• マクスウェルの悪魔にインspiredした協同的学習メカニズムを導入し、フラクチュエーション駆動の進化によって、無秩序から秩序へと情報粒子が自然に組織化されるプロセスを実現する。
• 統計力学と進化理論からの自己組織化の原則を応用し、自動的なネットワーク構造の進化とトポロジー最適化を可能にする。
• 三段階のフレームワークを採用する：(I) 自由エネルギー最小化によるシステムレベルの進化、(II) 情報集約による解釈可能なモデル設計、(III) 自己組織化理論に基づく自動ニューラルアーキテクチャ進化。
• 境界条件が定義された環境下で、予測可能な進化経路を持つ微分方程式で記述された動的システムとしてシステムをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 物理的システムにおける熱力学に類似した、人工系における知能的行動の出現を支配する根本的原理は何か？
• RQ2 人間主導の選択と自己組織化を通じて、人工知能システムが人工汎用知能へ向かう長期的共進化をどのように達成できるか？
• RQ3 情報処理を自己組織的かつ自由エネルギー最小化プロセスとしてモデル化することで、深層ニューラルネットワークの解釈可能性と設計を向上させられるか？
• RQ4 自然進化および統計力学にインスパイアされた協同的学習メカニズムにより、ニューラルネットワークのトポロジーを自動で進化させられるか？
• RQ5 協力と競争の相互作用が、マルチモデル系における安定的で知的な行動の出現に果たす役割は何か？

主な発見

• 自由エネルギー最小化によってSLSは、予測可能で制御可能な進化を達成し、安定で秩序の高い状態への収束を保証する。
• SLSにおける出現現象は、複数のモデル間の相互作用から生じ、マクスウェルの悪魔に類似したフラクチュエーション駆動プロセスによって、無秩序から秩序へと情報粒子が集積される。
• システムの進化は明確に定義された微分方程式フレームワークに従い、与えられた環境的・境界条件のもとで進化経路を予測可能にする。
• システムレベルのエントロピー低減と構造的クラスタリングとしての無教師学習をモデル化することにより、解釈可能な深層学習を実現する。
• SLSは、統計力学と自己組織化に基づく『知能の熱力学』を提唱することで、将来のAI開発の理論的基盤を提供する。
• システムのアーキテクチャは、人間の選択が進化の経路を意図的に設計する自然選択に類似した方法で、人工汎用知能への長期的共進化を支援する。