[論文レビュー] Algorithmic Thresholds in Mean Field Spin Glasses

A. El Alaoui, Andrea Montanari|arXiv (Cornell University)|Sep 24, 2020

Theoretical and Computational Physics参考文献 39被引用数 17

ひとこと要約

本稿では、近似的なメッセージパッシング（AMP）アルゴリズムの最初の実装と数値的妥当性評価を、近似的最良状態の超距離的木構造を活用して、平均場スピンガラスの最適化に用いる。このアルゴリズムはシェリングトン＝キーカープ（SK）モデルでは漸近的に任意の精度の近似を達成し、3スピンモデルでは定数近似比を達成する。理論的予測と整合し、グローバー動的法よりも優れている。

ABSTRACT

Optimizing a high-dimensional non-convex function is, in general, computationally hard and many problems of this type are hard to solve even approximately. Complexity theory characterizes the optimal approximation ratios achievable in polynomial time in the worst case. On the other hand, when the objective function is random, worst case approximation ratios are overly pessimistic. Mean field spin glasses are canonical families of random energy functions over the discrete hypercube $\{-1,+1\}^N$. The near-optima of these energy landscapes are organized according to an ultrametric tree-like structure, which enjoys a high degree of universality. Recently, a precise connection has begun to emerge between this ultrametric structure and the optimal approximation ratio achievable in polynomial time in the typical case. A new approximate message passing (AMP) algorithm has been proposed that leverages this connection. The asymptotic behavior of this algorithm has been analyzed, conditional on the nature of the solution of a certain variational problem. In this paper we describe the first implementation of this algorithm and the first numerical solution of the associated variational problem. We test our approach on two prototypical mean-field spin glasses: the Sherrington-Kirkpatrick (SK) model, and the $3$-spin Ising spin glass. We observe that the algorithm works well already at moderate sizes ($N\gtrsim 1000$) and its behavior is consistent with theoretical expectations. For the SK model it asymptotically achieves arbitrarily good approximations of the global optimum. For the $3$-spin model, it achieves a constant approximation ratio that is predicted by the theory, and it appears to beat the `threshold energy' achieved by Glauber dynamics. Finally, we observe numerically that the intermediate states generated by the algorithm have the properties of ancestor states in the ultrametric tree.

研究の動機と目的

• 平均場スピンガラスにおける高次元の確率的エネルギー関数の最適化を目的とした、近的メッセージパッシング（AMP）アルゴリズムの実装と数値的妥当性評価。
• 多項式時間でアルゴリズム的閾値に相当する変分問題を解くことで、近的最良状態の実用的計算を可能にする。
• AMPアルゴリズムが、スピンガラスモデルにおける近的最良状態の超距離的木構造によって予測される理論的近似比を達成するかどうかを検証する。
• アルゴリズムが生成する中間状態が、超距離的木構造における祖先状態に対応するかどうかを数値的に検証する。
• AMPアルゴリズムが、エネルギー近似において標準的なマルコフ連鎖モンテカルロ法（例えばグローバー動的法）を上回ることを示す。

提案手法

• アルゴリズムは、一般化されたTAP方程式に基づく反復的近的メッセージパッシングフレームワークを用い、超距離的木構造を特徴付ける関数γ(s)を含む変分原理から導かれる更新式を採用する。
• ステップサイズδを導入し、時間t ∈ [0,1]における磁化ベクトルm^tを逐次的に更新することで、TAP自由エネルギー最小化問題の近似解を求める。
• 主な構成要素として、一般化されたTAP自由エネルギーF_TAP(m) = H_N(m) + ∑ᵢ Λ_γ(t, mᵢ) − (N/2)∫ₜ¹ sξ''(s)γ(s)dsを定義し、アルゴリズムの経路に沿って最小化する。
• TAP方程式の定常性を強制する：m = F(m; t)，ここでFはΦ_γ(t; z)のLegendre変換の逆関数により定義される。
• N ≥ 1000のSK（2スピン）および3スピンイジングモデルに対して、収束性と誤差スケーリングを評価するために独立な実現を用いて数値実験を実施する。
• 理論的一致性は、TAP自由エネルギーとTAP方程式誤差Δ_t(δ,N)のモニタリングにより検証され、N→∞、δ→0の極限でΘ(δ)に比例する。

実験結果

リサーチクエスチョン

• RQ1 AMPアルゴリズムは、実際の平均場スピンガラスにおいて理論的アルゴリズム閾値に到達できるか？
• RQ2 AMPアルゴリズムの中間状態の時間的進化は、近的最良状態の超距離的木構造における階層的祖先状態に対応するか？
• RQ3 AMPアルゴリズムがSKモデルおよび3スピンモデルで達成する実効的近似比は何か？ また、グローバー動的法と比較してどうなるか？
• RQ4 一般化されたTAP方程式を満たす際の誤差は、ステップサイズδおよび系サイズNにどのように依存するか？
• RQ5 理論的に予測されるように、一般化されたTAP自由エネルギーはアルゴリズム実行中に概ね一定に保たれるか？

主な発見

• SKモデルにおいて、Nが増加するにつれてAMPアルゴリズムは、理論的予測と整合し、グローバル最適解の任意の精度の近似を達成する。
• 3スピンイジングモデルでは、変分原理によって予測された理論的閾値と一致する定数近似比を達成する。
• グローバー動的法よりも優れており、後者によって到達される「閾値エネルギー」よりも低いエネルギーを達成する。
• 数値結果から、アルゴリズムが生成する中間状態は、階層的相互作用構造を含む、超距離的木構造における祖先状態の構造的性質を示している。
• 一般化されたTAP自由エネルギーはアルゴリズム実行中に概ね一定に保たれ、そのずれはΘ(δ)に比例し、大規模N極限における理論的期待と一致する。
• 各反復でTAP方程式が概ね満たされており、誤差はO(δ)に減少し、独立な実現間で誤差がきわめて集中している。