[論文レビュー] Coloring Fibonacci-Cayley tree: An application to neural networks

Jung‐Chao Ban, Chih-Hung Chang|arXiv (Cornell University)|Jul 5, 2017

Neural dynamics and brain function参考文献 15被引用数 3

ひとこと要約

本稿は、アルツハイマー病などの神経変性疾患における神経細胞機能障害を模倣するため、フィボナッチ＝カイリィ木上のニューラルネットワークのエントロピーを調査している。エントロピー計算を非線形再帰的システムに還元し、新規のアルゴリズムを適用することで、唯一のエントロピー値として 0 または ln g のみが可能であることを証明し、パラメータ空間における臨界境界の明確な式を得た。

ABSTRACT

This paper investigates the coloring problem on Fibonacci-Cayley tree, which is a Cayley graph whose vertex set is the Fibonacci sequence. More precisely, we elucidate the complexity of shifts of finite type defined on Fibonacci-Cayley tree via an invariant called entropy. It comes that computing the entropy of a Fibonacci tree-shift of finite type is equivalent to studying a nonlinear recursive system. After proposing an algorithm for the computation of entropy, we apply the result to neural networks defined on Fibonacci-Cayley tree, which reflect those neural systems with neuronal dysfunction. Aside from demonstrating a surprising phenomenon that there are only two possibilities of entropy for neural networks on Fibonacci-Cayley tree, we reveal the formula of the boundary in the parameter space.

研究の動機と目的

• アルツハイマー病などの疾患における病的な広がりを反映するフィボナッチ＝カイリィ木のトポロジーを用いて、神経細胞機能障害を模倣するニューラルネットワークを構築すること。
• 木構造上のシフト空間における重要な不変量であるトポロジカルエントロピーを用いて、こうした神経系の複雑さを測定すること。
• フィボナッチ＝カイリィ木上の有限型木シフト（tree-shifts of finite type）のエントロピーを計算するためのアルゴリズムを開発すること。
• エントロピーがゼロと正の値の間を遷移するパラメータ空間の全域を特定し、臨界境界を同定すること。
• 1次元および多次元シフトの結果を木シフトへと拡張し、エントロピー値に驚くべき二値性（dichotomy）が現れることが明らかになったこと。

提案手法

• フィボナッチ＝カイリィ木上のニューラルネットワークを、禁止される局所的パターンが機能障害を示す神経細胞状態を表す有限型木シフト（SFT）としてモデル化する。
• 基礎となるグラフ構造の隣接行列から導かれる非線形再帰的システムの分析に、エントロピー計算を還元する。
• Perron-Frobenius定理を適用して遷移行列の最大固有値を計算し、エントロピーをスペクトル半径の対数として得る。
• パラメータ平面 (a,z) 上に25個の同値な領域 [p,q] を導入し、エントロピーの挙動を分類可能にする。
• 単純な再帰表現および行列簡約技術（例：行・列の削除）を用いて、1つまたは2つの主要な記号を持つ部分ケースにおけるエントロピーを分析する。
• 臨界条件を導出：(a,z) が臨界であるとは、a−1 = ||z|−m|−M が成り立つことと同値であり、ここで m=min{|a₁|,|a₂|}, M=max{|a₁|,|a₂|} である。この式により、パラメータ空間とエントロピーの相転移が結びつけられる。

実験結果

リサーチクエスチョン

• RQ1 フィボナッチ＝カイリィ木上に定義された有限型木シフトのエントロピーは何か？ そして、その再帰的構造とはどのように関係するか？
• RQ2 フィボナッチ＝カイリィ木上のニューラルネットワークのエントロピーは、アルゴリズム的に計算可能か？ その計算複雑度は？
• RQ3 エントロピーが「分離性」（separation property）のもとで、ゼロまたは正の値の二値的挙動を示すか？
• RQ4 (a,z)パラメータ空間における、ゼロエントロピーと正エントロピーの領域を分かつ正確な幾何的境界は何か？
• RQ5 木構造における死活ノードとしてモデル化される神経機能障害は、ネットワークの情報伝達能力にどのように影響を与えるか？

主な発見

• フィボナッチ＝カイリィ木上のニューラルネットワークのエントロピーは、ゼロまたは ln g のいずれかであり、情報容量に驚くべき二値性が示された。
• 領域インデックス [p,q] において min{p,q}=0 または max{p,q}=1 ならばエントロピーはゼロであり、これはパターンの成長が制限されていることを示す。
• p,q>0 かつ max{p,q}≥2 ならばエントロピーは ln g に達し、これは与えられた制約下での最大のパターン多様性に対応する。
• パラメータ空間 (a,z) における臨界境界は、a−1 = ||z|−m|−M で与えられ、ここで m と M は |a₁| と |a₂| の最小値および最大値である。
• エントロピー計算は非線形再帰的システムの分析に還元され、遷移行列の最大固有値がエントロピーを決定する。
• Lindの1次元SFTエントロピーの結果を木シフトへと拡張し、木シフトのエントロピーがPerron数の対数であることが明らかになった。