[論文レビュー] Markov Brains: A Technical Introduction

Arend Hintze, Jeffrey A. Edlund+10 more|arXiv (Cornell University)|Sep 17, 2017

Evolutionary Algorithms and Applications参考文献 22被引用数 28

ひとこと要約

この論文は、状態バッファと並列に実行される計算部（ニューロンに類似）を用いて入力を処理し、合算によって内部状態を更新し、運動出力を生成する、進化可能な人工ニューラルネットワークのクラス、マーキョフ・ブレインズ（MBs）を紹介する。従来のANNとは異なり、MBsは遺伝的または直接符号化によって進化するため、体化されたエージェントや学習、群れ行動といった複雑な行動に最適化された柔軟で階層のないアーキテクチャを実現する。

ABSTRACT

Markov Brains are a class of evolvable artificial neural networks (ANN). They differ from conventional ANNs in many aspects, but the key difference is that instead of a layered architecture, with each node performing the same function, Markov Brains are networks built from individual computational components. These computational components interact with each other, receive inputs from sensors, and control motor outputs. The function of the computational components, their connections to each other, as well as connections to sensors and motors are all subject to evolutionary optimization. Here we describe in detail how a Markov Brain works, what techniques can be used to study them, and how they can be evolved.

研究の動機と目的

• モジュラーで進化可能な計算部を用いる点で従来の階層型ANNとは根本的に異なる、新しい人工ニューラルネットワークのクラス「マーキョフ・ブレインズ」を提示すること。
• 遺伝的または直接符号化のメカニズムを通じて、ネットワークのトポロジー、機能、接続性の進化的最適化を可能にすること。
• 拡張可能なフレームワーク設計により、人工エージェントにおける学習、群れ行動、社会的階層形成といった複雑な行動を支援すること。
• MABEフレームワークを用いてプラットフォーム非依存性とコード再利用性を促進し、進化的実験の一般性と拡張性を確保すること。

提案手法

• 各要素が入力、隠れ状態、出力状態を格納するノードを表す状態バッファ（状態ベクトル）を用いてMBsをモデル化する。
• 状態バッファのサブセットから読み取り、書き込みを行う計算部（論理ゲート）を並列に更新し、信号を合算によって統合する。
• 開始コドンを用いてMBsを遺伝的に符号化し、ゲートの種類（決定的、確率的、しきい値、タイマー）を定義することで、機能と接続性の進化的変化を可能にする。
• 直接符号化をサポートし、進化的ルールに従って接続の再接続、機能の変更、コンポーネントの追加／削除が可能なネットワークの進化を実現する。
• MABEフレームワークを用いて、モularity、サブストレート非依存性、実験および研究者間での相互運用性を確保する。
• フィードバックゲートと学習メカニズムを統合し、個々のエージェントの寿命内での適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、構造と機能の両方の進化的最適化を可能にする柔軟で階層のないアーキテクチャを持つ人工ニューラルネットワークを設計できるか？
• RQ2 複雑なエージェント行動の進化において、遺伝的符号化と直接符号化の両者にどのような利点があるか？
• RQ3 マーキョフ・ブレインズは、進化的プロセスを通じて、体化されたエージェントにおいて社会的階層、群れ行動、適応的学習を進化させることができるか？
• RQ4 MABEのようなモジュラーでプラットフォーム非依存のフレームワークは、進化的計算研究における再現性、再利用性、一般性をどのように向上させるか？
• RQ5 従来のニューラルネットワークモデルと比較して、並列計算と信号の合算は、マーキョフ・ブレインズにおける複雑なダイナミクスの実現にどのような役割を果たすか？

主な発見

• 開始コドンを用いた遺伝的符号化は、初期段階の単純さがあるにもかかわらず、直接符号化よりも速く進化し、平均して高いフィットネスを達成した。
• しきい値ゲートとタイマーゲートの追加により、デジタルエージェントにおける社会的階層の進化が可能になり、複雑な自己組織的行動が実証された。
• MABEフレームワークにより、モジュラーで再利用可能かつ相互運用可能な実験が可能となり、学習、群れ行動、社会的ダイナミクスを含む広範な進化的研究を支援した。
• フィードバックゲートを成功裏に実装し、エージェントが寿命内での環境適応を可能にした。これにより、マーキョフ・ブレインズにおける学習の実現可能性が示された。
• Randal Olsonが開発した拡張機能により、スワームと捕食者・獲物のダイナミクスの進化が可能になり、複雑な集団行動が実現した。
• Pythonによるマーキョフ・ブレインズ実装（https://github.com/rhiever/MarkovNetwork）とEALibへの統合により、数千の状態と多様なゲートタイプを扱える大規模な実験が可能になった。