[論文レビュー] Finite Size Corrections and Likelihood Ratio Fluctuations in the Spiked Wigner Model

A. El Alaoui, Florent Krząkała+1 more|arXiv (Cornell University)|Oct 9, 2017

Random Matrices and Applications参考文献 34被引用数 18

ひとこと要約

本稿は、ガウス型補間法とキャビティ法を用いて、スパイク付きウィグナー模型の厳密な解析を提供し、自由エネルギーに対する有限サイズ補正を導出し、再構築閾値未満での対数尤度比のガウス型フラクチュエーションを確立する。本稿は、再構築閾値までに、プラント済みモデルとノイズモデルの間の連続性（contiguity）を証明し、任意の分離可能な事前分布における検出誤差率の正確な式を与える。

ABSTRACT

In this paper we study principal components analysis in the regime of high dimensionality and high noise. Our model of the problem is a rank-one deformation of a Wigner matrix where the signal-to-noise ratio (SNR) is of constant order, and we are interested in the fundamental limits of detection of the spike. Our main goal is to gain a fine understanding of the asymptotics for the log-likelihood ratio process, also known as the free energy, as a function of the SNR. Our main results are twofold. We first prove that the free energy has a finite-size correction to its limit---the replica-symmetric formula---which we explicitly compute. This provides a formula for the Kullback-Leibler divergence between the planted and null models. Second, we prove that below the reconstruction threshold, where it becomes impossible to reconstruct the spike, the log-likelihood ratio has fluctuations of constant order and converges in distribution to a Gaussian under both the planted and (under restrictions) the null model. As a consequence, we provide a general proof of contiguity between these two distributions that holds up to the reconstruction threshold, and is valid for an arbitrary separable prior on the spike. Formulae for the total variation distance, and the Type-I and Type-II errors of the optimal test are also given. Our proofs are based on Gaussian interpolation methods and a rigorous incarnation of the cavity method, as devised by Guerra and Talagrand in their study of the Sherrington--Kirkpatrick spin-glass model.

研究の動機と目的

• 高次元・高ノイズなスパイク付きウィグナー模型における対数尤度比（自由エネルギー）の漸近的挙動を理解すること。
• レプリカ対称な自由エネルギーの公式に対する有限サイズ補正を導出すること。
• 再構築閾値未満における対数尤度比の分布的フラクチュエーションを特徴づけること。
• 任意の分離可能な事前分布に対して、プラント済みモデルとノイズモデルの間の連続性（contiguity）を再構築閾値まで確立すること。
• 最適な検出検定における全変動距離および第一種・第二種の誤差率の正確な式を与えること。

提案手法

• 自由エネルギーの制御と有限サイズ補正の導出に、ガウス型補間技術を用いる。
• シェリントン＝キルパトリック模型に関するゲラとタラグランの研究にインspiredされた、厳密なキャビティ法の応用。
• キャビティ解析における事後期待値の簡略化に、二階性（Nishimori property）を用いる。
• 生成関数 φ(t) の2階微分を導出し、凸性および尤度比の差の下界を確立する。
• 畳み込み測度のフーリエ解析を用いて、尤度比が等しいとき、事前分布が等しいことを証明する。
• 再構築閾値未満で、プラント済みおよびノイズモデルの両方において、対数尤度比の分布収束がガウス分布に一致することを確立する。

実験結果

リサーチクエスチョン

• RQ1 スパイク付きウィグナー模型における自由エネルギーの有限サイズ補正の正確な形は何か？
• RQ2 再構築閾値未満における対数尤度比のフラクチュエーションはどのように振る舞うか？
• RQ3 一般の分離可能な事前分布に対して、プラント済みモデルとノイズモデルの間の連続性（contiguity）は再構築閾値まで証明可能か？
• RQ4 この領域におけるプラント済みモデルとノイズモデルの間の全変動距離の正確な式は何か？
• RQ5 任意の分離可能な事前分布下でのスパイク検出における最適な第一種および第二種誤差率は何か？

主な発見

• 自由エネルギーは、レプリカ対称な公式に対する有限サイズ補正を有し、その補正項は、プラント済みモデルとノイズモデル間のカルバック・ライブラー発散（Kullback-Leibler divergence）を用いて明示的に計算可能である。
• 再構築閾値未満では、対数尤度比は定数オーダーのスケールでフラクチュエートし、プラント済みおよびノイズモデルの両方において分布収束がガウス分布に一致する。
• 任意のスパイクの分離可能な事前分布に対して、再構築閾値までにプラント済みモデルとノイズモデルの間の連続性（contiguity）が証明される。
• 2つのモデル間の全変動距離は、対数尤度比の分散と信号対ノイズ比を含む式によって上界で抑えられる。
• 最適な検定は、対数尤度比の漸近的分布を用いて明示的に特徴づけられる第一種および第二種誤差率を達成する。
• 正のスパイクと負のスパイクの尤度比が等しいことは、それらの事前測度が等しいことを意味し、これはキャビティベースの解析における一意性および一貫性の証明に用いられる。