[論文レビュー] Covariance estimation with nonnegative partial correlations

Jake A. Soloff, Adityanand Guntuboyina+1 more|arXiv (Cornell University)|Jul 30, 2020

Random Matrices and Applications参考文献 40被引用数 7

ひとこと要約

本稿は、部分相関が非負であるという制約の下で高次元共分散行列の推定を研究し、次元数pが標本サイズnを上回る場合でも、2サンプルのみで精度行列の制約付き最尤推定量が正しく定義されることを示している。この推定量は、高次元で一貫性を示し、対称化されたスティーブンソン損失においてミニマックス最適性を満たすが、共分散行列の最大固有値の推定には顕著なバイアスをもたらす。

ABSTRACT

We study the problem of high-dimensional covariance estimation under the constraint that the partial correlations are nonnegative. The sign constraints dramatically simplify estimation: the Gaussian maximum likelihood estimator is well defined with only two observations regardless of the number of variables. We analyze its performance in the setting where the dimension may be much larger than the sample size. We establish that the estimator is both high-dimensionally consistent and minimax optimal in the symmetrized Stein loss. We also prove a negative result which shows that the sign-constraints can introduce substantial bias for estimating the top eigenvalue of the covariance matrix.

研究の動機と目的

• 非負の部分相関制約の下で、精度行列の制約付き最尤推定量の統計的一貫性と最適性を確立すること。
• 標準的MLEが存在しない高次元設定（p ≫ n）において、この推定量の性能を分析すること。
• 符号制約が共分散行列の最大固有値の推定に与えるバイアスを調査すること。
• 対称化されたスティーブンソン損失における推定量のリスクと収束に関する理論的保証を提供すること。
• 推定量をM行列および一般化されたグラフラプラシアンに関連づけ、グラフィカルモデルおよびネットワーク解析におけるその重要性を強調すること。

提案手法

• 精度行列Θ*の制約付き最尤推定量を、非正の非対角成分をもつ対称的正定値半定値行列（M行列）の集合への最適化制約を用いて提案する。
• 損失関数：min_Θ∈M^{p×p} {⟨Θ, S⟩ − log det Θ}、ここでSは標本共分散行列である。
• やや弱い条件下で推定量の存在と一意性を確立：完全な正の相関がなく、定数変数がないこと。これらはn ≥ 2のガウス標本下で確率1で成立する。
• ランダム行列理論および集中不等式の道具を用いて、正部分標本共分散行列S₊の行和に対する有限標本バウンドを導出する。
• 非負行列のスペクトル理論を用いて、推定共分散行列の最大固有値に対する下界を導出する。
• ガウスベクトルのリプシッツ関数に対する測度集中を用いて、S₊の行和の尾部挙動を制御し、高確率的バウンドを可能にする。

実験結果

リサーチクエスチョン

• RQ1 部分相関が非負である場合、高次元設定（p ≫ n）において精度行列の制約付きMLEが一貫して推定可能か？
• RQ2 M行列制約下で、対称化されたスティーブンソン損失において制約付き推定量がミニマックス最適か？
• RQ3 符号制約が共分散行列の最大固有値の推定に与える影響は何か？
• RQ4 高次元的状況において、制約付き推定量は標準MLEと比較してどの程度のバイアスとリスクを示すか？
• RQ5 2サンプルのみで制約付き推定量が正しく定義され、一意に保たれる条件は何か？

主な発見

• ガウスモデル下で、2サンプル以上、かつ2つの変数が完全に正に相関していない、かつ定数変数がない限り、すべてのpおよびn ≥ 2で制約付きMLEが存在し、一意である。
• 制約付き推定量は、p ≫ nであっても高次元の一貫性を達成し、対称化されたスティーブンソン損失においてミニマックス最適性を満たす。
• 推定共分散行列の最大固有値の推定において、顕著なバイアスを示す。これは、推定共分散行列の最大固有値に対する下界によって示されている。
• 正部分標本共分散行列S₊の行和は高確率で下限で抑えられ、これにより推定共分散行列の最大固有値に対する下限が得られる。
• 最大固有値推定のバイアスは、符号制約によって生じる。これは、標本共分散行列の固有値構造を歪めることに起因する。
• 理論的バウンドは集中不等式およびスペクトル理論を用いて導出され、制約下での最大固有値に対する明示的な高確率的制御が可能である。