[論文レビュー] Detection limits in the high-dimensional spiked rectangular model

A. El Alaoui, Michael I. Jordan|arXiv (Cornell University)|Feb 20, 2018

Random Matrices and Applications参考文献 40被引用数 11

ひとこと要約

本稿は、スパiked長方形モデルにおける高次元スパムド状態の下で、BBP閾値未満の領域において、尤度比の漸近的ガウス型フラクチュエーションを確率的キャビティ法（スピンガラス理論にインspired）を用いて確立する。この手法により、球対称スパイスから一般の積prior（スパーススパイスを含む）への結果の拡張がなされ、漸近的正規性の領域が関連するスピンガラスモデルのパラメトリック相と関連付けられる可能性が示唆される。

ABSTRACT

We study the problem of detecting the presence of a single unknown spike in a rectangular data matrix, in a high-dimensional regime where the spike has fixed strength and the aspect ratio of the matrix converges to a finite limit. This setup includes Johnstone's spiked covariance model. We analyze the likelihood ratio of the spiked model against an "all noise" null model of reference, and show it has asymptotically Gaussian fluctuations in a region below---but in general not up to---the so-called BBP threshold from random matrix theory. Our result parallels earlier findings of Onatski et al.\ (2013) and Johnstone-Onatski (2015) for spherical spikes. We present a probabilistic approach capable of treating generic product priors. In particular, sparsity in the spike is allowed. Our approach is based on Talagrand's interpretation of the cavity method from spin-glass theory. The question of the maximal parameter region where asymptotic normality is expected to hold is left open. This region is shaped by the prior in a non-trivial way. We conjecture that this is the entire paramagnetic phase of an associated spin-glass model, and is defined by the vanishing of the replica-symmetric solution of Lesieur et al.\ (2015).

研究の動機と目的

• 一般の積priorの下で、高次元長方形データ行列における弱いスパイスの検出限界を理解すること。
• 球対称スパイスに関する先行研究を、一般の（スパースを含む）スパイスpriorへ拡張すること。
• 対数尤度比が漸近的にガウス分布に従うパラメータ空間の領域を同定すること。
• 高次元確率的行列モデルにおける尤度比フラクチュエーションを分析するための確率的フレームワーク（キャビティ法に基づく）を構築すること。

提案手法

• スパイスモデルとノイズモデルの間の連続的補間を用いた補間ハミルトニアンを導入し、尤度比を分析する。
• スピンガラス理論におけるTalagrandのキャビティ法の解釈を応用し、一般の積priorを扱う。
• 時間連続的補間プロセス（パラメータ $ t \in [0,1] $）を用い、ギブス期待値の時間発展を追跡する。
• 補題10および11を用いてギブス平均の微分の上限を導出し、$ \nu_0 $ と $ \nu_1 $ の差を制御することで、漸近的正規性の結果を得る。
• 変数の有界性とモーメント制御に依拠し、主要な式において時間0の平均を時間1の平均に置き換える正当性を裏付ける。
• 漸近的正規性の領域が、Lesieurら（2015a）のスピンガラスモデルにおけるレプリカ対称解の消滅と関連していることを特定する。

実験結果

リサーチクエスチョン

• RQ1 高次元スパiked長方形モデルにおいて、対数尤度比がどのような条件下で漸近的にガウス分布に従うか？
• RQ2 漸近的正規性の領域は、特に非球対称またはスパースなpriorの場合、スパイスのprior分布にどのように依存するか？
• RQ3 キャビティ法は、球対称priorに限らず、尤度比フラクチュエーションの分析に応用可能か？
• RQ4 漸近的正規性の領域は、関連するスピンガラスモデルのパラメトリック相と等価か？
• RQ5 BBP閾値は、一般のpriorの下で弱いスパイスの検出可能性を決定づける役割を果たすか？

主な発見

• 球対称でないprior（スパースや積分布を含む）に対しても、BBP閾値未満の領域では対数尤度比が漸近的にガウス分布に従う。
• 漸近的正規性の領域はpriorの性質によって非自明に形状づけられ、関連するスピンガラスモデルのパラメトリック相と一致すると予想される。
• スプライス分析に依存せず、確率的キャビティアプローチを用いることで、一般の積prior（スパース性を含む）を効果的に扱える。
• 連続的補間と微分の上限を用いることで、尤度比のフラクチュエーションがガウス分布に従うことが示され、スペクトル分解に依存しない。
• 漸近的正規性の領域は必ずしもBBP閾値まで延長せず、レプリカ対称解の消滅を通じてpriorに依存して変化する。
• 先行研究（Onatski らおよび Johnstone と Onatski）は球対称priorに限定されていたが、本研究ははるかに広いモデルクラスへ一般化している。