[论文解读] Finite Size Corrections and Likelihood Ratio Fluctuations in the Spiked Wigner Model

A. El Alaoui, Florent Krząkała+1 more|arXiv (Cornell University)|Oct 9, 2017

Random Matrices and Applications参考文献 34被引用 18

一句话总结

本文使用高斯插值法与腔方法，对突变Wigner模型进行了严格的分析，推导出自由能的有限尺寸修正项，并在重建阈值以下建立了对数似然比的高斯波动。证明了在该阈值以内，植株模型与零模型之间的可连续性，并给出了在任意可分先验下的检测误差率的精确公式。

ABSTRACT

In this paper we study principal components analysis in the regime of high dimensionality and high noise. Our model of the problem is a rank-one deformation of a Wigner matrix where the signal-to-noise ratio (SNR) is of constant order, and we are interested in the fundamental limits of detection of the spike. Our main goal is to gain a fine understanding of the asymptotics for the log-likelihood ratio process, also known as the free energy, as a function of the SNR. Our main results are twofold. We first prove that the free energy has a finite-size correction to its limit---the replica-symmetric formula---which we explicitly compute. This provides a formula for the Kullback-Leibler divergence between the planted and null models. Second, we prove that below the reconstruction threshold, where it becomes impossible to reconstruct the spike, the log-likelihood ratio has fluctuations of constant order and converges in distribution to a Gaussian under both the planted and (under restrictions) the null model. As a consequence, we provide a general proof of contiguity between these two distributions that holds up to the reconstruction threshold, and is valid for an arbitrary separable prior on the spike. Formulae for the total variation distance, and the Type-I and Type-II errors of the optimal test are also given. Our proofs are based on Gaussian interpolation methods and a rigorous incarnation of the cavity method, as devised by Guerra and Talagrand in their study of the Sherrington--Kirkpatrick spin-glass model.

研究动机与目标

• 理解高维、高噪声突变Wigner模型中对数似然比（自由能）的渐近行为。
• 推导自由能的副本对称公式在有限尺寸下的修正项。
• 表征在重建阈值以下对数似然比的分布波动。
• 证明对于任意可分先验，植株模型与零模型在重建阈值以内具有可连续性。
• 提供最优检测检验的总变差距离以及第一类/第二类错误率的精确公式。

提出的方法

• 使用高斯插值技术控制自由能并推导有限尺寸修正项。
• 应用严格版本的腔方法，灵感源自Guerra与Talagrand对Sherrington-Kirkpatrick模型的研究。
• 利用Nishimori性质简化腔分析中的后验期望。
• 推导生成函数φ(t)的二阶导数，以建立严格凸性并给出似然比差异的下界。
• 通过卷积测度的傅里叶分析，证明当似然比相等时，先验分布也相等。
• 证明在阈值以下，对数似然比在植株模型与零模型下均依分布收敛于高斯分布。

实验结果

研究问题

• RQ1 在突变Wigner模型中，自由能的有限尺寸修正项的精确形式是什么？
• RQ2 在重建阈值以下，对数似然比的波动行为如何？
• RQ3 对于一般可分先验，植株模型与零模型之间的可连续性是否可在重建阈值内得到证明？
• RQ4 在此参数区域内，植株模型与零模型之间的总变差距离的精确公式是什么？
• RQ5 在任意可分先验下，检测突变的最优第一类与第二类错误率是多少？

主要发现

• 自由能可在副本对称公式的基础上获得有限尺寸修正项，其显式表达式以植株模型与零模型之间的Kullback-Leibler散度表示。
• 在重建阈值以下，对数似然比的波动尺度为常数阶，并在植株模型与零模型下均依分布收敛于高斯分布。
• 对于任意可分先验，植株模型与零模型在重建阈值以内具有可连续性。
• 两个模型之间的总变差距离由似然比的方差与信噪比的公式所界定。
• 最优检验实现了可由对数似然比渐近分布显式表征的第一类与第二类错误率。
• 正负突变下似然比相等，意味着其对应的先验测度也相等，该结论被用于证明基于腔方法分析的唯一性与一致性。