[論文レビュー] The dimensionality of the Hopfield model

Cristopher Erazo, Santiago Acevedo+1 more|arXiv (Cornell University)|Jan 24, 2026

Neural Networks and Applications被引用数 0

ひとこと要約

この論文は Binary Intrinsic Dimension (BID) を Hopfield ネットワークに適用し、位相遷移を検出し、幾何学的次元をスピン重ね合わせと結びつける。回収/反磁性相で BID が線形、スピンガラス相で BID が準線形であることを示す。

ABSTRACT

We use the Binary Intrinsic Dimension (BID), a geometrical measure designed for binary data, to analyze the Hopfield model, a paradigmatic spin system from statistical mechanics, machine learning and neuroscience. The BID allows us to characterize the phases and transitions of this system, and moreover it is robust against finite-size effects that interfere with the correct numerical estimation of the spin-glass order parameter ($q$). We observe that the BID scales linearly with system size in the retrieval and paramagnetic phases, where the correlations between spins are small, and exhibits sublinear scaling in the whole spin-glass phase, highlighting its correlated structure. Furthermore, we establish a direct relationship between the BID and the overlap distribution, unveiling a novel connection between the geometry of the state-space and standard spin order parameters.

研究の動機と目的

• バイナリスピン系とその相のための堅牢で教師なしの次元測度を動機づける。
• 従来の秩序パラメータに依存せず、Hopfield モデルに BID を適用して相転移を同定する。
• BID とスピンガラスの重ね合わせ分布との関係を確立し、状態空間の幾何を照らす。
• 従来の秩序パラメータの有限サイズ効果を評価し、システムサイズに対して BID が堅牢であることを示す。

提案手法

• バイナリデータに対して、経験的 Hamming 距離分布 P(r|θ) によるフィッティングを介して Binary Intrinsic Dimension (BID) を定義する（P(r|θ) は dθ(r)=θ0+rθ1）。
• 局所フィットからの BID = θ0 として BID を計算し、x = (1/N)s·s′ および r = N(1−x)/2 に関連付ける。
• 非同期更新と Boltzmann ダイナミクスの下で、N 個のスピンが p パターンを格納する Hopfield ネットワークを研究する（ロード α=p/N）。
• 有限サンプルから q および mν を推定し、熱力学予測と比較し有限サイズ効果を分析する。
• 温度 T およびロード α にわたって BID を分析し、N≈1024、N_S≈2500、複数実現を用いて相挙動を写像する。
• P(r|θ) の正規近似を用いて BID と重ね合わせ統計を関連付け、システムサイズとのスケーリングを論じる。

(a) Dataset

実験結果

リサーチクエスチョン

• RQ1 BID は Hopfield モデルの相の教師なし秩序パラメータとして機能し得るか？
• RQ2 回収、反磁性、スピンガラスの各相で BID はシステムサイズに対してどうスケールするか？
• RQ3 BID と重ね合わせ分布 q および mν との関係は何か？
• RQ4 有限サイズ効果は有限 Hopfield ネットワークにおいて、従来の q 推定と BID にどのような影響を及ぼすか？

主な発見

• BID は Hopfield モデルの相転移を追跡し、回収、スピンガラス、反磁性の領域と整合する。
• 回収および反磁性相では BID が N に対して線形にスケールし、スピンガラス相では準線形にスケールする。
• Z2 対称性の下で発生する q 推定の有限サイズ効果を BID が克服し、サイズを超えて安定した推定を提供する。
• BID と重ね合わせ分布の直接的な関係が確立され、BID/N、Std[x]、E[x]（≈ q）を結ぶ正規近似を含む。
• 有限サイズ解析は BID が頑健であり続ける一方、従来の q 推定は臨界近傍で二峰性を示し収束が遅くなることを示す。
• 準線形な BID のスケーリングは、スピンガラス相における相関の増大と非平凡な状態空間幾何と結びつく。

(b) Hamming Distances