[論文レビュー] A Unifying Framework for Information Processing in Stochastically Driven Dynamical Systems

Tomoyuki Kubota, Hirokazu Takahashi+1 more|arXiv (Cornell University)|Jun 11, 2019

Neural Networks and Reservoir Computing参考文献 55被引用数 6

ひとこと要約

本論文は、情報処理能力（IPC）を時変動的で確率的な駆動を受ける力学的系へと拡張する統一的フレームワークを提案する。このフレームワークは、IPCと多項式クラウス（PC）展開係数を結びつけることで、IPCがPC係数の二乗ノルムに等しいことを確立し、任意の入力分布へのIPCの一般化を実現するとともに、時間的・履歴依存的な正規直交基底を導入し、複雑な物理的系、特に実際の神経ネットワークの解析を可能にする。

ABSTRACT

A dynamical system can be regarded as an information processing apparatus that encodes input streams from the external environment to its state and processes them through state transitions. The information processing capacity (IPC) is an excellent tool that comprehensively evaluates these processed inputs, providing details of unknown information processing in black box systems; however, this measure can be applied to only time-invariant systems. This paper extends the applicable range to time-variant systems and further reveals that the IPC is equivalent to coefficients of polynomial chaos (PC) expansion in more general dynamical systems. To achieve this objective, we tackle three issues. First, we establish a connection between the IPC for time-invariant systems and PC expansion, which is a type of polynomial expansion using orthogonal functions of input history as bases. We prove that the IPC corresponds to the squared norm of the coefficient vector of the basis in the PC expansion. Second, we show that an input following an arbitrary distribution can be used for the IPC, removing previous restrictions to specific input distributions. Third, we extend the conventional orthogonal bases to functions of both time and input history and propose the IPC for time-variant systems. To show the significance of our approach, we demonstrate that our measure can reveal information representations in not only machine learning networks but also a real, cultured neural network. Our generalized measure paves the way for unveiling the information processing capabilities of a wide variety of physical dynamics which has been left behind in nature.

研究の動機と目的

• 情報処理能力（IPC）の測定法を、時間不変系に限らない時変動的力学的系へと拡張すること。
• 一般の力学的系において、IPCと多項式クラウス（PC）展開係数との間の理論的同等性を確立すること。
• 入力分布に対する制限を撤廃し、ガウス分布や特定の分布に限定されない任意の確率的入力へのIPCの適用を可能にすること。
• 非定常系のための時間的・履歴依存的な正規直交基底を用いた一般化されたIPCフレームワークの構築。
• 本フレームワークの有効性を、人工リザボアと実際の培養神経ネットワークの両方の解析に示すこと。

提案手法

• システム状態の多項式クラウス（PC）展開における係数の二乗ノルムとIPCとの数学的同等性を導出する。
• 入力履歴の直交多項式を基底関数として用い、標準的なPCフレームワークを時変動系へ一般化する。
• 非定常力学的系における状態遷移を表現するため、時間的・履歴依存的な正規直交基底を導入する。
• 任意の入力分布を有する系に一般化されたIPC測定法を適用し、ガウス分布や特定の分布に限定される従来の制限を撤廃する。
• 線形回帰を用いてリザボア状態から目的出力を推定し、正規化された誤差を用いてIPCを計算する。
• マイクロエレクトロードアレイ（MEA）記録を用いて、合成リザボアと実際の培養神経ネットワークの両方でフレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 情報処理能力（IPC）は、どのように時変動的力学的系へ一般化できるか？
• RQ2 確率的力学的系において、IPCと多項式クラウス（PC）展開係数との間にはどのような理論的関係があるか？
• RQ3 ガウス分布や特定の分布に限定されない、任意の入力分布を有する系に対してもIPCを適用できるか？
• RQ4 時間的・履歴依存的な正規直交基底は、非定常系における情報処理の表現をどのように改善するか？
• RQ5 一般化されたIPC測定法は、実際の生物学的神経ネットワークにおいて意味のある情報表現を明らかにできるか？

主な発見

• IPCは、システム状態の多項式クラウス（PC）展開における係数ベクトルの二乗ノルムと数学的に同等である。
• 本フレームワークは、ガウス分布など特定の分布に限定されない任意の入力分布へのIPCの一般化を実現し、従来の制限を撤廃した。
• 時間的・履歴依存的な正規直交基底の導入により、本手法はIPCを時変動系へ成功裏に拡張した。
• 一般化されたIPC測定法は、実際の培養神経ネットワークが、遅延や非線形結合を含む高次元の入力履歴を情報として符号化していることを明らかにした。
• 培養神経ネットワークにおいて、IPC解析により最大10～12ステップの時間遅延を持つ入力パターンに対して顕著な処理能力が検出された。これは、複雑な時間的統合が行われていることを示している。
• 本フレームワークは、従来の時間不変モデルにとどまらない、生物学的および工学的リザボアを含む多様な物理的系における情報処理の定量的評価を可能にした。