[論文レビュー] A walk in the statistical mechanical formulation of neural networks

Elena Agliari, Adriano Barra+3 more|arXiv (Cornell University)|Jul 20, 2014

Neural Networks and Applications参考文献 30被引用数 5

ひとこと要約

この論文は、強磁性体とスピンガラス模型の2つの異なる経路を通じてヘブの学習則を導出することにより、神経ネットワークに統計力学的基礎を確立する。ヘブの学習則は、強磁性体とスピンガラス模型の両方から導出可能であり、ホフスタットネットワーク（再現）とボルツマンマシン（学習）の間で熱力学的同等性を示す。さらに、強磁性体系をオペアンプに、反強磁性体系をフリップフロップにマッピングすることで、理論物理学とロボット工学・認知工学への応用の間の明確な橋渡しを実現する。

ABSTRACT

Neural networks are nowadays both powerful operational tools (e.g., for pattern recognition, data mining, error correction codes) and complex theoretical models on the focus of scientific investigation. As for the research branch, neural networks are handled and studied by psychologists, neurobiologists, engineers, mathematicians and theoretical physicists. In particular, in theoretical physics, the key instrument for the quantitative analysis of neural networks is statistical mechanics. From this perspective, here, we first review attractor networks: starting from ferromagnets and spin-glass models, we discuss the underlying philosophy and we recover the strand paved by Hopfield, Amit-Gutfreund-Sompolinky. One step forward, we highlight the structural equivalence between Hopfield networks (modeling retrieval) and Boltzmann machines (modeling learning), hence realizing a deep bridge linking two inseparable aspects of biological and robotic spontaneous cognition. As a sideline, in this walk we derive two alternative (with respect to the original Hebb proposal) ways to recover the Hebbian paradigm, stemming from ferromagnets and from spin-glasses, respectively. Further, as these notes are thought of for an Engineering audience, we highlight also the mappings between ferromagnets and operational amplifiers and between antiferromagnets and flip-flops (as neural networks -built by op-amp and flip-flops- are particular spin-glasses and the latter are indeed combinations of ferromagnets and antiferromagnets), hoping that such a bridge plays as a concrete prescription to capture the beauty of robotics from the statistical mechanical perspective.

研究の動機と目的

• 統計力学を用いて、神経ネットワークのパターン再現（ホフスタットネットワーク）と学習（ボルツマンマシン）の理論的枠組みを統一すること。
• ヘブの元来の神経生物学的定式化に依存しない、強磁性体およびスピンガラス系という代替的物理的経路を通じて、ヘブの学習則を再導出すること。
• 統計力学的モデルと電子部品（オペアンプとフリップフロップ）との間の明確な1対1対応を確立し、理論物理学と工学の橋渡しをすること。
• ガラス的系（強磁性体と反強磁性体を含む）が、自由エネルギーの極小点を介して広範なパターン記憶を自然に可能にすることを示し、関連記憶の実現を可能にする。
• 基礎的な統計力学的原理が実用的神経ネットワーク行動および電子回路にどのように関与しているかを示すことで、工学系研究者および非理論的物理学者を刺激すること。

提案手法

• 神経ネットワークを統計力学を用いてスピン系として形式化し、ニューロンをイジング型ダイナミクスを持つスピンとして扱う。
• 平均場近似を適用して、スピンガラス系の分配関数からホフスタットネットワークを導出し、それが一次項においてボルツマンマシンと同等であることを示す。
• エントロピー最大化の原則に従い、保存されたパターンと整合するスピンの整列を最大化することで、強磁性体的直観を用いてヘブ則を導出する。
• スピンガラスのねじれ（フラストレーション）を分析し、複数の局所的安定状態（それぞれが保存されたパターンに対応）を持つ自由エネルギーの形状を検討することで、ヘブ則を導出する。
• 強磁性秩序を信号増幅（オペアンプ）に、反強磁性秩序を2値記憶（フリップフロップ）にマッピングすることで、スピン系と電子部品を結びつける。
• 因子化可能な分配関数を持つ双方向スピンガラスモデル（ボルツマンマシン）を用い、その主要寄与がホフスタットモデルと同型であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ヘブの学習則は、ヘブの元来の神経生物学的議論とは独立して、統計力学的原則からどのように導出可能か？
• RQ2 ホフスタットネットワーク（再現）とボルツマンマシン（学習）の間の熱力学的関係は何か？統計力学はそれらをどのように統一するか？
• RQ3 強磁性体系とスピンガラス系は、それぞれどのように異なる物理的経路を通じてヘブ則に到達するのか？それぞれの物理的解釈は何か？
• RQ4 スピン系はどのようにしてオペアンプやフリップフロップといった電子部品にマッピング可能か？このマッピングは実用的神経ネットワーク設計をどのように支援するか？
• RQ5 スピンガラス系におけるねじれ（フラストレーション）は、多数のパターンの記憶をどのように可能にするか？これは関連記憶とどのように関係するか？

主な発見

• ヘブ則は、エントロピー最大化と保存パターンとのスピン整列を最大化する強磁性体系から再導出された。
• ヘブ則は、複数の準安定状態（それぞれが保存パターンに対応）を持つ自由エネルギーの形状を最小化することで、スピンガラス系からも再導出された。
• ボルツマンマシン（学習モデル）の主要寄与がホフスタットネットワーク（再現モデル）と同一であることが示され、両者の熱力学的同等性が証明された。
• ボルツマンマシンの分配関数は平均場近似のもとで因子化可能であり、保存パターンの外積に比例する結合定数を持つホフスタット型ハミルトニアンを導出する。
• 強磁性体系は、集団的スピン整列による信号増幅の能力から、オペアンプにマッピングされる。
• 反強磁性体系は、2値的で安定的かつスイッチ可能な状態を示すため、フリップフロップにマッピングされる。