[논문 리뷰] Capacity lower bound for the Ising perceptron

Jian Ding, Nike Sun|arXiv (Cornell University)|2018. 09. 20.

Theoretical and Computational Physics참고 문헌 20인용 수 3

한 줄 요약

이 논문은 TAP/AMP 반복 절차에서 유도된 특별히 선택된 구성 조각에 제2모멘트 방법을 적용하여, 가우시안 불순물이 있는 이징 퍼셉트론의 용량에 비자명한 하한을 확립한다. 주요 결과는 α < α⋆ ≈ 0.83일 때, N → ∞일 때 비율 MN/N이 α를 초과할 확률이 0에서 벗어나 있음을 보여주며, 이는 λ = 0에서 단변수 함수 S⋆(λ)의 최대화 조건을 수반한다.

ABSTRACT

We consider the Ising perceptron with gaussian disorder, which is equivalent to the discrete cube $\{-1,+1\}^N$ intersected by $M$ random half-spaces. The perceptron's capacity is $α_N \equiv M_N/N$ for the largest integer $M_N$ such that the intersection in nonempty. It is conjectured by Krauth and Mézard (1989) that the (random) ratio $α_N$ converges in probability to an explicit constant $α_\star \doteq 0.83$. Kim and Roche (1998) proved the existence of a positive constant $γ$ such that $γ\le α_N \le 1-γ$ with high probability; see also Talagrand (1999). In this paper we show that the Krauth--Mézard conjecture $α_\star$ is a lower bound with positive probability, under the condition that an explicit univariate function $S(λ)$ is maximized at $λ=0$. Our proof is an application of the second moment method to a certain slice of perceptron configurations, as selected by the so-called TAP (Thouless, Anderson, and Palmer, 1977) or AMP (approximate message passing) iteration, whose scaling limit has been characterized by Bayati and Montanari (2011) and Bolthausen (2012). For verifying the condition on $S(λ)$ we outline one approach, which is implemented in the current version using (nonrigorous) numerical integration packages. In a future version of this paper we intend to complete the verification by implementing a rigorous numerical method.

연구 동기 및 목표

• 가우시안 불순물 하에서 이징 퍼셉트론의 용량 αN = MN/N에 대해 비자명한 하한을 확립하기.
• Krauth–Mézard 추측, 즉 α⋆ ≈ 0.83가 양의 확률로 퍼셉트론 용량의 하한이 되는 것을 검증하기.
• TAP/AMP 반복 프레임워크를 활용하여 기존의 γ ≤ αN ≤ 1−γ 범위를 초월한 이징 퍼셉트론에 대한 엄밀한 결과를 확장하기.
• 하한이 성립하기 위해 필요한 조건인 단변수 함수 S⋆(λ)의 최대화 조건을 수치적 적분(향후 엄밀한 방법으로 대체 계획)을 통해 검증하기.

제안 방법

• TAP 또는 AMP 반복 절차를 통해 선택된 제한된 구성 조각에 제2모멘트 방법을 적용하여 일반적인 해 구조를 반영한다.
• Bayati와 Montanari(2011) 및 Bolthausen(2012)가 기술한 TAP/AMP 반복의 척도 극한을 이용해 관련된 구성 집합을 정의한다.
• TAP/AMP 반복의 점근적 행동에 기반한 함수 S⋆(λ)를 정의하고, 하한이 성립하기 위해 λ = 0에서 이 함수가 최대화되어야 한다는 조건을 요구한다.
• 비엄밀한 수치 적분 패키지를 사용하여 S⋆(λ)를 근사하고, 향후 버전에서 이를 완전히 엄밀한 수치 검증으로 대체할 계획이다.
• 점근적 분석에서 오차 항을 제어하기 위해 역밀스 비율 E(x) = φ(x)/Ψ(x)의 세 번째 및 네 번째 도함수에 대한 경계를 유도한다.
• 절단된 가우시안 분포에 대한 농도 및 모멘트 경계를 사용하여 제2모멘트 계산에서 조건부 기대값의 행동을 제어한다.

실험 결과

연구 질문

• RQ1 Krauth–Mézard 추측한 임계값 α⋆ ≈ 0.83이 양의 확률로 이징 퍼셉트론 용량의 하한이 될 수 있는가?
• RQ2 TAP/AMP 선택된 구성에 제2모멘트 방법을 적용할 경우, α < α⋆일 때 해 존재 확률이 0이 아닌가?
• RQ3 함수 S⋆(λ)는 제2모멘트 방법이 양의 하한을 증명하는 데 성공하기 위해 어떤 역할을 하는가?
• RQ4 S⋆(λ)가 λ = 0에서 최대화됨을 엄밀하게 검증할 수 있으며, 그 결과 퍼셉트론 용량에 어떤 영향을 미치는가?
• RQ5 가우시안 불순물은 베르누이 불순물에 비해 분석을 어떻게 단순화하는가? 그리고 이는 예측된 임계값에 영향을 미치는가?

주요 결과

• α < α⋆ ≈ 0.83일 때, λ = 0에서 S⋆(λ)가 최대화되는 조건 하에, N → ∞일 때 MN/N ≥ α일 확률이 0에서 벗어나 있음을 증명한다.
• 성공적으로 TAP/AMP 선택된 구성 조각에 제2모멘트 방법을 적용하여 퍼셉트론 용량에 비자명한 하한을 확보한다.
• 함수 S⋆(λ)는 TAP/AMP 반복의 점근적 행동에 의해 정의되며, 하한이 성립하기 위해 모든 λ ≠ 0,1에 대해 S⋆(λ) < 0이어야 한다.
• S⋆(λ)를 근사하기 위해 수치 적분을 사용하고, 향후 버전에서 이를 완전히 엄밀한 수치 검증으로 대체할 수 있는 길을 제시한다.
• 역밀스 비율 E(x)의 도함수에 대한 날카운 경계를 유도하여, 제2모멘트 계산에서 오차 항을 제어하는 데 필수적인 요소로 확인한다.
• 분석 결과 가우시안 불순물 모델이 베르누이 불순물 모델과 동일한 예측 임계값 α⋆를 도출함을 확인하여 단순화의 타당성을 검증한다.