[論文レビュー] Entropy bifurcation of neural networks on Cayley trees

Jung‐Chao Ban, Chih-Hung Chang+1 more|arXiv (Cornell University)|Jun 27, 2017

Neural dynamics and brain function被引用数 4

ひとこと要約

本稿は、ケイリー木上のニューラルネットワークのエントロピースペクトルを特徴づけ、エントロピーが離散的であり、結合重みに応じて 0 または ln d のいずれかであることを示している。エントロピー分岐と臨界性の完全な条件を確立し、結合重みが特定の不等式を満たすとき、ニューラルネットワークがエントロピーを最小化することを示しており、情報格納容量における相転移を明らかにしている。

ABSTRACT

It has been demonstrated that excitable media with a tree structure performed better than other network topologies, it is natural to consider neural networks defined on Cayley trees. The investigation of a symbolic space called tree-shift of finite type is important when it comes to the discussion of the equilibrium solutions of neural networks on Cayley trees. Entropy is a frequently used invariant for measuring the complexity of a system, and constant entropy for an open set of coupling weights between neurons means that the specific network is stable. This paper gives a complete characterization for entropy spectrum of neural networks on Cayley trees and reveals whether the entropy bifurcates when the coupling weights change.

研究の動機と目的

• ケイリー木上に定義されたニューラルネットワークのエントロピースペクトルを特徴づけること、特に平衡解に注目すること。
• ニューロン間の結合重みが変化する際にエントロピーが分岐するかどうかを調査し、感度または臨界性を示すこと。
• このようなネットワークがエントロピーを最小化するための必要十分条件を特定すること。
• 有限型の木シフトにおける分離性と、木トポロジー上でのニューラルネットワークの学習ダイナミクスとの間の関係を確立すること。
• 結合パラメータに基づいたエントロピー行動の完全な分類を提供し、離散的エントロピー値と臨界閾値を明らかにすること。

提案手法

• 根付きケイリー木上にニューラルネットワークをモデル化し、区分的線形活性化関数を用いた微分方程式系を用いる。
• 平衡解を有限型の木シフト（TSFT）として表現し、分離性から導かれる禁止局所パターンを用いる。
• 木上の記号的力学系を適用してTSFTの位相的エントロピーを分析し、エントロピー計算のためのアルゴリズムを活用する。
• 結合重み a と z に基づく明示的式を導出し、重みの線形結合の最大値および第二最大値を用いる。
• a, z および最小絶対重み |aℓ| 間の関係に基づく臨界性条件を導入し、エントロピーが 0 から ln d に遷移する境界を定義する。
• a–z 平面上にエントロピー分岐図を構築し、パラメータ空間をエントロピー値が異なる領域に分割する。

実験結果

リサーチクエスチョン

• RQ1 ケイリー木上のニューラルネットワークの位相的エントロピーは、結合重みの変化に伴いどのように変化するか？
• RQ2 このようなネットワークのエントロピーが分岐するのはどのような条件下か？これは情報格納容量における相転移を示唆する。
• RQ3 ニューラルネットワークのエントロピーが最小となるのはいつか？その正確な結合重みの条件は何か？
• RQ4 木構造をとるニューラルネットワークのエントロピースペクトルの構造は何か？離散的か連続的か？
• RQ5 分離性と禁止局所パターンは、モザイク解のエントロピーとダイナミクスにどのように制約を加えるか？

主な発見

• ノードあたり d 個の子を持つケイリー木上のニューラルネットワークのエントロピーは、結合重みに応じて 0 または ln d のいずれかである。
• エントロピーが 0 であるのは、p と q が結合重みパラメータから導かれるとき、min{p, q} = 0 または max{p, q} = 1 である場合に限る。
• エントロピーが最小となるのは、いかなる真部分シフトでもエントロピーを低下させることができないときであり、これは結合重みが導出された臨界条件を満たすときに正確に成立する。
• 臨界点は、a − 1 = ||z| − |aℓ|| − ∑i≠ℓ |ai| で定義され、ここで aℓ は最小絶対重みである。この点はゼロエントロピーと正のエントロピーの境界を示す。
• エントロピー分岐図は a–z 平面を (2^d + 1)^2 個の領域に分割し、エントロピー ln d は図の特定の赤線の上側でのみ達成される。
• 二進ケイリー木（d = 2）の場合、パrameter空間の領域 [3,2] では h(Y[3,2]) = ln 2 となることが確認され、理論的予測を裏付けている。