[論文レビュー] On active information storage in input-driven systems

Oliver Obst, Joschka Boedecker+2 more|arXiv (Cornell University)|Mar 22, 2013

Gaussian Processes and Bayesian Inference参考文献 4被引用数 7

ひとこと要約

この論文は、ニューラルネットワークや皮質回路のような入力駆動系におけるアクティブ情報ストレージ（AIS）の新しい拡張である入力補正付きアクティブ情報ストレージ（icAIS）を導入する。過去の状態と現在の入力を両方条件として用いることで、icAISは内部記憶と入力駆動効果を分離し、非同次系における真の情報ストレージのより正確な定量的評価を可能にする。解析的およびシミュレーテッドな例による検証により、一貫性があり直感的な結果が得られている。

ABSTRACT

Information theory and the framework of information dynamics have been used to provide tools to characterise complex systems. In particular, we are interested in quantifying information storage, information modification and information transfer as characteristic elements of computation. Although these quantities are defined for autonomous dynamical systems, information dynamics can also help to get a "wholistic" understanding of input-driven systems such as neural networks. In this case, we do not distinguish between the system itself, and the effects the input has to the system. This may be desired in some cases, but it will change the questions we are able to answer, and is consequently an important consideration, for example, for biological systems which perform non-trivial computations and also retain a short-term memory of past inputs. Many other real world systems like cortical networks are also heavily input-driven, and application of tools designed for autonomous dynamic systems may not necessarily lead to intuitively interpretable results. The aim of our work is to extend the measurements used in the information dynamics framework for input-driven systems. Using the proposed input-corrected information storage we hope to better quantify system behaviour, which will be important for heavily input-driven systems like artificial neural networks to abstract from specific benchmarks, or for brain networks, where intervention is difficult, individual components cannot be tested in isolation or with arbitrary input data.

研究の動機と目的

• 標準的なアクティブ情報ストレージ（AIS）が入力駆動系において入力効果と内在的システム記憶が混同されるという限界を解消すること。
• 内部ダイナミクスに起因する情報ストレージと外部入力に起因するものとを分離する形式的枠組みを構築すること。
• 再帰的ニューラルネットワークや皮質ネットワークのような非同次系における計算的性質のより解釈可能で正確な特徴付けを可能にすること。
• 干渉が困難または不可能なシステム、例えば生物学的脳ネットワークにおいて研究するためのツールを提供すること。

提案手法

• 標準的なアクティブ情報ストレージの修正として、過去状態と現在入力を両方条件とする入力補正付きアクティブ情報ストレージ（icAIS）を提案する。
• 条件付き確率を用いてicAISを定義する：icAIS = log[P(x_{n+1} | x_n^{(k)}, u_{n+1}) / P(x_{n+1} | u_{n+1})] であり、入力の影響を超えた記憶を捉える。
• 部分的情報分解（PID）フレームワークを用いて、情報の冗長成分、固有成分、協同成分に分解する。
• icAISと相互情報の関係を示し、icAIS = AIS + I であることを示す。ここでIは入力、過去状態、将来状態の間の相互情報である。
• 解析的例を用いたアプローチの妥当性を検証し、バイナリXORユニットと単純なメモリユニットを用いて、一貫性があり直感的な結果が得られることを示した。
• 入力と履歴が共に次状態を決定する場合に、icAISが正しく記憶された情報を特定できることを示した。

実験結果

リサーチクエスチョン

• RQ1 入力とシステムダイナミクスが混同される入力駆動系において、アクティブ情報ストレージを意味的に拡張する方法は何か？
• RQ2 非同次系において、入力が情報ストレージ測定にどの程度影響を及ぼすか？
• RQ3 icAISは、内部状態記憶に起因する情報ストレージと、入力駆動遷移に起因するものとを区別できるか？
• RQ4 icAISは、相互情報や部分的情報分解といった既存の情報理論的測定とどのように関係するか？
• RQ5 icAISは、単純で解析可能な系において直感的で一貫性のある結果を生み出すか？

主な発見

• icAISは、入力駆動効果から内在的記憶を効果的に分離し、テストケースにおいて直感的な期待と整合する値を生成した。
• メモリユニットにおいて、icAISは入力に依存せず1ビットの情報ストレージを正しく測定した。これは、真の記憶容量を捉える能力を裏付けている。
• XORユニットにおいて、過去状態と入力の両方が分かっている場合にicAISは1ビットのストレージを示したが、入力のみでは予測力がなかった。これは、協同性への感受性を正当化する。
• 関係式 icAIS = AIS + I は解析的に導出され、icAISが標準AISを超えて入力と履歴の相互作用を捉えていることを示した。
• この方法は、冗長性と協同性の寄与を効果的に区別でき、複雑な系における解釈を明確にした。
• 従来のAISが入力依存性のため機能しないシステムにおいて、特に生物学的および人工ニューラルネットワークにおいて、記憶を原理的かつ定量的に評価するための枠組みを提供した。