[論文レビュー] Gardner formula for Ising perceptron models at small densities

Erwin Bolthausen, Shuta Nakajima+2 more|arXiv (Cornell University)|Nov 4, 2021

Theoretical and Computational Physics参考文献 59被引用数 6

ひとこと要約

本稿は、$N$ スピンと $M = \alpha N$ パターンを有するイジングパーセプトロンモデルの小密度 $\alpha$ における漸近的自由エネルギーを、近似メッセージパッシング（AMP）反復に基づく条件付きモーメント法を用いて確立する。有界活性化関数 $U$ の広いクラスについて、特にゼロから離れていないものでさえも、弱い分散および可積分性条件の下で、再帰的対称公式への収束を証明する。これは、先行研究をより一般的な設定へと拡張するものである。

ABSTRACT

We consider the Ising perceptron model with N spins and M = N*alpha patterns, with a general activation function U that is bounded above. For U bounded away from zero, or U a one-sided threshold function, it was shown by Talagrand (2000, 2011) that for small densities alpha, the free energy of the model converges in the large-N limit to the replica symmetric formula conjectured in the physics literature (Krauth--Mezard 1989, see also Gardner--Derrida 1988). We give a new proof of this result, which covers the more general class of all functions U that are bounded above and satisfy a certain variance bound. The proof uses the (first and second) moment method conditional on the approximate message passing iterates of the model. In order to deduce our main theorem, we also prove a new concentration result for the perceptron model in the case where U is not bounded away from zero.

研究の動機と目的

• これまでに研究された活性化関数を超えて、イジングパーセプトロンモデルの自由エネルギーに対する再帰的対称公式の有効性を拡張すること。
• ゼロから離れていない可能性がある一般の有界活性化関数 $U$ に対して、自由エネルギーの再帰的対称公式への収束を厳密に証明すること。
• 高次元極限 $N \to \infty$ において $M = \alpha N$ かつ小密度 $\alpha$ の下で、分配関数の漸近的挙動を確立すること。
• 活性化関数 $U$ がゼロから離れていない場合にも成立する、分配関数の新たな集中性結果を確立し、より広いクラスの活性化関数の解析を可能とすること。

提案手法

• 期待値をモデルの近似メッセージパッシング（AMP）反復の上にとる条件付き一次および二次モーメント法が適用される。
• 解析は、$\rho_s = \rho(\mu_s)$ および $\mu_s = \mu(\rho_s)$ を含む再帰的関係式によって定義されるAMP反復の再帰的構造に依存しており、これらはガウス積分から導かれる。
• 主な要素として、$L_q(x) = \log \mathbb{E}_\xi U(x + (1-q)^{1/2}\xi)$ 及びその導関数 $F_q(x)$ の使用があり、これらは有効な局所場の分布を符号化する。
• 仮定2の下で、分配関数に対する新たな集中不等式が導出され、摂動下での重なりの分散を制御する。
• 関数 $K_2(U)$ の挙動を制御するため、$U$ の滑らか化近似 $U_\eta$ を用いることで、関数クラス全体にわたる一様なバインディングを保証する。
• 固定点方程式 (1.5) の解は、小密度 $\alpha$ に対して一意的であり、$c_1$, $C_1(U)$, および $(K_2)'(U)$ を用いて $\alpha'(U)$ の明示的バインディングが得られる。

実験結果

リサーチクエスチョン

• RQ1 小密度 $\alpha$ における一般の有界活性化関数 $U$（ゼロから離れていない可能性を含む）に対して、イジングパーセプトロンモデルの再帰的対称公式が自由エネルギーに成立するか。
• RQ2 AMP反復に基づく条件付きモーメント法を用いて、自由エネルギーの再帰的対称公式への収束を証明できるか。
• RQ3 $N \to \infty$ の極限で $M = \alpha N$ となる場合に、再帰的対称公式の有効性を保証するための $U$ に対する最小限の条件（有界性を超えるもの）は何か。
• RQ4 モデルにおける重なりの分散が分配関数の集中性に与える影響は何か。また、この分散を制御する条件は何か。
• RQ5 収束閾値 $\alpha'(U)$ の関数 $U$ への明示的依存性は何か。また、これまでものと比較するとどうなるか。

主な発見

• 仮定1および2の下で、$N \to \infty$ のとき、イジングパーセプトロンモデルの自由エネルギーは確率的に再帰的対称公式 $\textup{RS}(\alpha;U)$ に収束する。$0 \leq \alpha \leq \alpha'(U)$ の範囲で成立する。
• 閾値 $\alpha'(U)$ は明示的にバインディングされ、$\alpha'(U) \leq \frac{1}{e^6 \alpha(U)}$ が成り立ち、$\alpha(U)$ は $\frac{1}{e^{10} \cdot c_1 \cdot C_1(U)^6 \cdot K_2(U)^4}$ で与えられる。さらに $\alpha'(U)$ は $\frac{1}{e^{16} \cdot c_1 \cdot C_1(U)^6 \cdot (K_2)'(U)^4}$ によってもバインディングされる。
• すべての $0 \leq \alpha \leq \alpha(U)$ に対して、固定点方程式 (1.5) の解 $(q, \psi)$ は $\frac{q}{\alpha} \geq \frac{1}{2}(\mathbb{E}_\xi[\xi U(\xi)])^2$ および $\frac{\psi}{\alpha} \leq 3 C_1(U)^2$ を満たし、安定性および非退化性が保証される。
• 本手法は、$U$ がゼロから離れていない場合でも分配関数に対する新たな集中性結果を確立しており、許容可能な活性化関数のクラスを拡張するために不可欠である。
• 証明は、AMP反復を条件として一次および二次モーメントを分析する条件付きモーメント法に依存しており、$\lambda_s$ および $\gamma_s$ を用いた重なり係数の再帰的制御が行われる。
• 固定点方程式 (1.5) は、小密度 $\alpha$ に対して $[0,1/25] \times [0,\infty)$ 内に一意の解を有し、良好に定義された熱力学的極限の存在を保証する。