[論文レビュー] Bits from Biology for Computational Intelligence

Michael Wibral, Joseph T. Lizier+1 more|arXiv (Cornell University)|Nov 30, 2014

Neural dynamics and brain function参考文献 150被引用数 53

ひとこと要約

本稿では、情報理論、特に局所的情報ダイナミクスと部分的情報分解を用いて神経系を分析し、生物学的インスピレーションを受ける計算システム（BICS）を設計するためのアルゴリズム的原則や表現を抽出することを提案する。神経系および集団系における情報の保存、伝達、変更を定量化することで、フレームワークは一貫した情報波や連鎖を明らかにし、これらは効率的な計算メカニズムとして機能し、耐障害性がありリソース制限のある人工システムの設計原則を提供する。

ABSTRACT

Computational intelligence is broadly defined as biologically-inspired computing. Usually, inspiration is drawn from neural systems. This article shows how to analyze neural systems using information theory to obtain constraints that help identify the algorithms run by such systems and the information they represent. Algorithms and representations identified information-theoretically may then guide the design of biologically inspired computing systems (BICS). The material covered includes the necessary introduction to information theory and the estimation of information theoretic quantities from neural data. We then show how to analyze the information encoded in a system about its environment, and also discuss recent methodological developments on the question of how much information each agent carries about the environment either uniquely, or redundantly or synergistically together with others. Last, we introduce the framework of local information dynamics, where information processing is decomposed into component processes of information storage, transfer, and modification -- locally in space and time. We close by discussing example applications of these measures to neural data and other complex systems.

研究の動機と目的

• 神経系からの情報理論的抽出を通じて、生物学的計算と人工計算を橋渡しすること。
• 神経活動と外部刺激との相互情報量を分析することで、神経系が環境について何を表しているかを特定すること。
• 局所的情報ダイナミクスを用いて、神経情報処理を保存、伝達、変更の各プロセスに分解すること。
• 一貫した情報波のような効率的で頑健な情報処理メカニズムを同定することで、生物学的インスピレーションを受ける計算システム（BICS）の設計を支援すること。
• 生物学的システムから抽象的で実装に依存しない原則を導出することで、計算知能分野における不適切に定式化された問題に取り組むこと。

提案手法

• エントロピー、相互情報量、トランスファーエントロピー、総相関などの情報理論的測度を神経系および集団系のデータに適用する。
• 局所的情報ダイナミクスを用いて、特定の時空間的位置における情報処理を保存、伝達、変更に分解する。
• 複数のエージェントが共通の環境について寄与する情報のうち、固有の、重複する、協同的な寄与を部分的情報分解（PID）で定量化する。
• 非パラメトリック推定法を用いて、非定常性および周期的定常性を考慮した実測時系列データから情報理論的量を推定する。
• マーリの3段階分析（計算的、アルゴリズム的、実装的）を統合し、神経系および人工系における情報処理を解釈する。
• 進化的ロボティクスにおいてトランスファーエントロピーをフィットネス関数として用い、スネークボットにおける一貫した情報伝達の自己組織化を誘導する。

実験結果

リサーチクエスチョン

• RQ1 情報理論を用いて神経系が使用するアルゴリズムや表現をどのように同定できるか？
• RQ2 情報の保存、伝達、変更が神経計算において果たす役割は何か。また、これらは空間的・時間的に局所的にどのように定量化できるか？
• RQ3 システム内の複数エージェントが環境についてどのように情報の集合的表現を形成するか。固有の、重複する、協同的な情報の寄与はそれぞれどのような役割を果たすか？
• RQ4 スウォームやスネークボットに見られるような一貫した情報波は、情報理論的測度によって同定され、説明可能か？
• RQ5 神経情報処理から得られる知見は、リソース制限のある環境下で設計された生物学的インスピレーションを受ける計算システムに、どのように応用できるか？

主な発見

• 情報理論により、神経計算が情報の保存、伝達、変更という明確に分離されたプロセスに分解可能であり、神経ダイナミクスのアルゴリズム的構造が明らかになった。
• 集団運動モデルにおいて、セルオートマトンのグライダーに類似した、定量的に同定された一貫した情報伝達の連鎖が確認された。これは、長距離にわたる効率的な情報伝播を示している。
• トランスファーエントロピーをフィットネス関数として用いて進化させたスネークボットでは、一貫した進行波としての情報伝達が出現し、モジュール間通信に耐障害性のある共鳴モードが形成された。
• 部分的情報分解により、複数エージェントが環境について冗長的または協同的な情報を保持していることが判明し、神経コードのより洗練された理解が可能になった。
• 相互情報量解析により、神経活動と人間が理解可能な環境変数との関連が明確になり、神経系が世界のどの側面を表しているかを特定する手がかりが得られた。
• 本フレームワークは、マーリのアルゴリズム的レベルで神経系および人工系における機能的計算を成功裏に同定し、リソース制限のある生物学的インスピレーションを受ける計算の設計原則を提供した。