[论文解读] Capacity lower bound for the Ising perceptron

Jian Ding, Nike Sun|arXiv (Cornell University)|Sep 20, 2018

Theoretical and Computational Physics参考文献 20被引用 3

一句话总结

该论文通过将第二矩方法应用于源自 TAP/AMP 迭代过程的特殊配置子集，建立了具有高斯无序的伊辛感知机容量的非平凡下界。关键结果表明，对于任意 α < α⋆ ≈ 0.83，当 N → ∞ 时，MN/N 超过 α 的概率远离零，前提是关于单变量函数 S⋆(λ) 在 λ = 0 处取得最大值的条件成立。

ABSTRACT

We consider the Ising perceptron with gaussian disorder, which is equivalent to the discrete cube $\{-1,+1\}^N$ intersected by $M$ random half-spaces. The perceptron's capacity is $α_N \equiv M_N/N$ for the largest integer $M_N$ such that the intersection in nonempty. It is conjectured by Krauth and Mézard (1989) that the (random) ratio $α_N$ converges in probability to an explicit constant $α_\star \doteq 0.83$. Kim and Roche (1998) proved the existence of a positive constant $γ$ such that $γ\le α_N \le 1-γ$ with high probability; see also Talagrand (1999). In this paper we show that the Krauth--Mézard conjecture $α_\star$ is a lower bound with positive probability, under the condition that an explicit univariate function $S(λ)$ is maximized at $λ=0$. Our proof is an application of the second moment method to a certain slice of perceptron configurations, as selected by the so-called TAP (Thouless, Anderson, and Palmer, 1977) or AMP (approximate message passing) iteration, whose scaling limit has been characterized by Bayati and Montanari (2011) and Bolthausen (2012). For verifying the condition on $S(λ)$ we outline one approach, which is implemented in the current version using (nonrigorous) numerical integration packages. In a future version of this paper we intend to complete the verification by implementing a rigorous numerical method.

研究动机与目标

• 建立在高斯无序下伊辛感知机容量 αN = MN/N 的非平凡下界。
• 验证 Krauth–Mézard 猜测的阈值 α⋆ ≈ 0.83 为具有正概率的感知机容量下界。
• 通过利用 TAP/AMP 迭代框架，将对伊辛感知机的严格结果拓展至已知的 γ ≤ αN ≤ 1−γ 边界之外。
• 通过数值积分（计划未来以严格方法替代）验证确保下界成立的单变量函数 S⋆(λ) 的条件。

提出的方法

• 将第二矩方法应用于通过 TAP 或 AMP 迭代选择的感知机配置受限子集，该子集捕捉了典型解结构。
• 利用 Bayati 和 Montanari（2011）以及 Bolthausen（2012）所刻画的 TAP/AMP 迭代的极限缩放行为，定义相关配置集合。
• 基于 TAP/AMP 迭代的渐近行为定义函数 S⋆(λ)，并要求其在 λ = 0 处取得最大值，以确保下界成立。
• 使用非严格数值积分包近似 S⋆(λ)，计划在未来版本中以完全严格的数值验证方法替代。
• 推导出反 Mill 比率 E(x) = φ(x)/Ψ(x) 的三阶和四阶导数的界，以控制渐近分析中的误差项。
• 利用截断正态分布的集中性和矩界，控制第二矩计算中条件期望的行为。

实验结果

研究问题

• RQ1 Krauth–Mézard 猜测的阈值 α⋆ ≈ 0.83 是否可被确立为伊辛感知机容量的正概率下界？
• RQ2 将第二矩方法应用于 TAP/AMP 选定的配置子集时，是否能对 α < α⋆ 产生非零的解存在概率？
• RQ3 函数 S⋆(λ) 在决定第二矩方法是否能成功证明正下界方面起什么作用？
• RQ4 S⋆(λ) 在 λ = 0 处取得最大值的条件能否被严格验证？其对感知机容量有何影响？
• RQ5 与伯努利无序相比，使用高斯无序如何简化分析？是否影响预测的阈值？

主要发现

• 论文证明，对于任意 α < α⋆ ≈ 0.83，当 N → ∞ 时，MN/N ≥ α 的概率远离零，前提是 S⋆(λ) 在 λ = 0 处取得最大值。
• 第二矩方法成功应用于 TAP/AMP 选定的配置子集，得到了感知机容量的非平凡下界。
• 函数 S⋆(λ) 通过 TAP/AMP 迭代的渐近行为定义，且必须满足对所有 λ ≠ 0,1 有 S⋆(λ) < 0，以确保下界成立。
• 使用数值积分近似 S⋆(λ)，论文概述了未来版本中以完全严格的数值验证替代该方法的路径。
• 作者推导出反 Mill 比率 E(x) 的导数的紧致界，这对控制第二矩计算中的误差项至关重要。
• 分析确认，高斯无序模型与伯努利无序模型预测相同的阈值 α⋆，验证了该简化的合理性。