[논문 리뷰] Finite Size Corrections and Likelihood Ratio Fluctuations in the Spiked Wigner Model

A. El Alaoui, Florent Krząkała외 1명|arXiv (Cornell University)|2017. 10. 09.

Random Matrices and Applications참고 문헌 34인용 수 18

한 줄 요약

이 논문은 가우시안 보간법과 캐비티 방법을 사용하여 스피iked Wigner 모형에 대한 엄밀한 분석을 제공하며, 자유 에너지의 유한 체적 보정을 유도하고 재구성 임계값 이하에서 로그우도비의 가우시안 분포를 규명한다. 이는 식별 가능한 모형과 영 모형 간의 연속성(contiguity)을 이 임계값까지 증명하고, 임의의 분리 가능한 사전 분포 하에서 탐지 오차율의 정확한 수식을 제공한다.

ABSTRACT

In this paper we study principal components analysis in the regime of high dimensionality and high noise. Our model of the problem is a rank-one deformation of a Wigner matrix where the signal-to-noise ratio (SNR) is of constant order, and we are interested in the fundamental limits of detection of the spike. Our main goal is to gain a fine understanding of the asymptotics for the log-likelihood ratio process, also known as the free energy, as a function of the SNR. Our main results are twofold. We first prove that the free energy has a finite-size correction to its limit---the replica-symmetric formula---which we explicitly compute. This provides a formula for the Kullback-Leibler divergence between the planted and null models. Second, we prove that below the reconstruction threshold, where it becomes impossible to reconstruct the spike, the log-likelihood ratio has fluctuations of constant order and converges in distribution to a Gaussian under both the planted and (under restrictions) the null model. As a consequence, we provide a general proof of contiguity between these two distributions that holds up to the reconstruction threshold, and is valid for an arbitrary separable prior on the spike. Formulae for the total variation distance, and the Type-I and Type-II errors of the optimal test are also given. Our proofs are based on Gaussian interpolation methods and a rigorous incarnation of the cavity method, as devised by Guerra and Talagrand in their study of the Sherrington--Kirkpatrick spin-glass model.

연구 동기 및 목표

• 고차원, 고노이즈 조건 하에서 스피iked Wigner 모형의 로그우도비(자유 에너지)의 渐近적 행동을 이해하는 것.
• 자기 대칭 공식에 대한 자유 에너지의 유한 체적 보정을 유도하는 것.
• 재구성 임계값 이하에서 로그우도비의 분포적 변동성을 규명하는 것.
• 임의의 분리 가능한 사전 분포에 대해 식별 가능한 모형과 영 모형 간의 연속성을 재구성 임계값까지 증명하는 것.
• 최적 탐지 검정의 총 변동 거리 및 제1종/제2종 오차율에 대한 정확한 수식을 제공하는 것.

제안 방법

• 자유 에너지 제어 및 유한 체적 보정 유도를 위해 가우시안 보간 기법을 사용한다.
• Sherrington-Kirkpatrick 모형에 대한 Guerra와 Talagrand의 작업을 영감으로 삼은 엄밀한 캐비티 방법을 적용한다.
• 캐비티 분석에서 사후 기대값을 단순화하기 위해 Nishimori 성질을 활용한다.
• 생성 함수 φ(t)의 두 번째 도함수를 유도하여 우도비 차이의 볼록성과 하한을 확립한다.
• 합성 측도의 푸리에 분석을 사용하여, 우도비가 동일할 경우 사전 분포가 동일함을 증명한다.
• 임계값 이하에서 식별 가능한 모형과 영 모형 하에서 로그우도비의 분포 수렴이 가우시안으로 이루어짐을 증명한다.

실험 결과

연구 질문

• RQ1 스피iked Wigner 모형에서 자유 에너지의 유한 체적 보정의 정확한 형태는 무엇인가?
• RQ2 재구성 임계값 이하에서 로그우도비의 변동성은 어떻게 행동하는가?
• RQ3 일반적인 분리 가능한 사전 분포에 대해 식별 가능한 모형과 영 모형 간의 연속성은 재구성 임계값까지 증명 가능한가?
• RQ4 이 영역에서 식별 가능한 모형과 영 모형 간의 총 변동 거리는 무엇인가?
• RQ5 임의의 분리 가능한 사전 분포 하에서 스피크 탐지의 최적 제1종 및 제2종 오차율은 무엇인가?

주요 결과

• 자유 에너지는 자기 대칭 공식에 대한 유한 체적 보정을 가지며, 이는 식별 가능한 모형과 영 모형 간의 Kullback-Leibler 발산을 통해 명시적으로 계산된다.
• 재구성 임계값 이하에서는 로그우도비가 일정 크기의 척도에서 변동하며, 식별 가능한 모형과 영 모형 하에서 모두 가우시안 분포로 수렴한다.
• 임의의 분리 가능한 스피크 사전 분포에 대해 식별 가능한 모형과 영 모형 간의 연속성이 재구성 임계값까지 증명된다.
• 두 모형 간의 총 변동 거리는 로그우도비의 분산과 신호 대 잡음 비율을 포함하는 공식으로 유계된다.
• 최적 검정은 로그우도비의 渐近적 분포에 의해 명시적으로 규명된 제1종 및 제2종 오차율을 달성한다.
• 양성 및 음성 스피크에 대해 우도비가 동일할 경우 그에 상응하는 사전 측도도 동일함을 의미하며, 이는 캐비티 기반 분석의 유일성과 일致성을 증명하는 데 사용된다.