[論文レビュー] High-dimensional covariance estimation by minimizing $\ell_1$-penalized log-determinant divergence

Pradeep Ravikumar, Martin J. Wainwright+2 more|ArXiv.org|Nov 21, 2008

Advanced Statistical Methods and Models参考文献 18被引用数 47

ひとこと要約

本稿では、スパarsity仮定の下で逆分散行列（濃度行列）を回復するために、ℓ₁正則化付き対数行列式ダイバージェンスを最小化する高次元分散共分散行列推定法を提案する。この手法は、要素ごとのノルム、フロベニウスノルム、スペクトルノルムにおいて一貫性のある推定を達成し、標本サイズ、次元、スパarsityおよび非一貫性などの構造的パラメータに依存する非漸近的誤差バウンドを有する。

ABSTRACT

Given i.i.d. observations of a random vector $X \in \mathbb{R}^p$, we study the problem of estimating both its covariance matrix $Σ^*$, and its inverse covariance or concentration matrix {$Θ^* = (Σ^*)^{-1}$.} We estimate $Θ^*$ by minimizing an $\ell_1$-penalized log-determinant Bregman divergence; in the multivariate Gaussian case, this approach corresponds to $\ell_1$-penalized maximum likelihood, and the structure of $Θ^*$ is specified by the graph of an associated Gaussian Markov random field. We analyze the performance of this estimator under high-dimensional scaling, in which the number of nodes in the graph $p$, the number of edges $s$ and the maximum node degree $d$, are allowed to grow as a function of the sample size $n$. In addition to the parameters $(p,s,d)$, our analysis identifies other key quantities covariance matrix $Σ^*$; and (b) the $\ell_\infty$ operator norm of the sub-matrix $Γ^*_{S S}$, where $S$ indexes the graph edges, and $Γ^* = (Θ^*)^{-1} \otimes (Θ^*)^{-1}$; and (c) a mutual incoherence or irrepresentability measure on the matrix $Γ^*$ and (d) the rate of decay $1/f(n,δ)$ on the probabilities $ \{|\hatΣ^n_{ij}- Σ^*_{ij}| > δ\}$, where $\hatΣ^n$ is the sample covariance based on $n$ samples. Our first result establishes consistency of our estimate $\hatΘ$ in the elementwise maximum-norm. This in turn allows us to derive convergence rates in Frobenius and spectral norms, with improvements upon existing results for graphs with maximum node degrees $d = o(\sqrt{s})$. In our second result, we show that with probability converging to one, the estimate $\hatΘ$ correctly specifies the zero pattern of the concentration matrix $Θ^*$.

研究の動機と目的

• p ≫ n の高次元設定において、分散共分散行列および濃度行列の推定の一貫性を確保する課題に対処すること。
• 逆分散行列におけるスパarsityを活用する正則化推定量を構築し、少数のエッジを持つガウスMarkovランダムフィールド（GMRF）に対応させること。
• 高次元スケーリング下での推定誤差およびサポート回復に関する非漸近的理論的保証を確立すること。
• 収束速度を支配する主要な構造的・確率的量（非一貫性、作用素ノルム、尾部減衰率など）を同定すること。

提案手法

• ガウス分布の場合のℓ₁正則化付き最尤推定に対応する、ℓ₁正則化付き対数行列式Bregmanダイバージェンスの最小化により、濃度行列Θ*を推定する。
• 内点法または座標降下法を用いて多項式時間で計算可能な凸最適化フレームワーク（対数行列式計画）を用いる。
• 標本共分散行列の成分におけるモーメントバウンドと集中不等式を用いて推定量の性能を分析する。
• 主要な構造的量を導入する：Σ*のℓ∞-作用素ノルムおよびSがエッジをインデックスする部分行列Γ*_{SS}、およびΓ*における相互非一貫性測度。
• ローゼンタールの不等式を用いたモーメントベースの尾部バウンドを導入し、標本共分散が母共分散から逸脱する確率を制御する。
• |Σ̂_ij^n - Σ*_{ij}| > δ である確率に関する非漸近的バウンドを導出し、そのバウンドは1/f(n,δ)の減衰率に依存する。

実験結果

リサーチクエスチョン

• RQ1 ℓ₁正則化付き対数行列式推定量が要素ごとの最大ノルムで一貫性を達成する高次元スケーリング条件は何か？
• RQ2 スパarsity（s）、最大ノード次数（d）、非一貫性といった構造的パラメータが、フロベニウスノルムおよびスペクトルノルムにおける収束速度にどのように影響を与えるか？
• RQ3 推定された濃度行列が、高い確率で真の濃度行列Θ*のゼロパターンを正しく回復するための条件は何か？
• RQ4 Σ*およびΓ*_{SS}の作用素ノルムに加え、尾部減衰率が推定量の非漸近的誤差バウンドにどのように影響を与えるか？

主な発見

• 推定量は要素ごとの最大ノルムで一貫性を達成し、収束速度は標本サイズn、次元p、およびスパarsityや非一貫性などの構造的パラメータに依存する。
• 最大ノード次数dがd = o(√s)を満たす場合、先行研究に比べてフロベニウスノルムおよびスペクトルノルムにおける収束速度が向上し、スパースグラフ下での性能向上を示す。
• 確率が1に収束する中で、推定量は真の濃度行列Θ*のゼロパターンを正しく回復し、一貫性のあるグラフ選択を保証する。
• 非漸近的誤差バウンドは、真の共分散行列Σ*のℓ∞-作用素ノルム、部分行列Γ*_{SS}のℓ∞-作用素ノルム、およびΓ*における相互非一貫性測度に依存する。
• 標本共分散の逸脱確率の尾部は、O(1/(n^m ν^{2m}))のオーダーで減衰するが、mはモーメントバウンドに用いられる自由パラメータである。
• 理論的バウンドは、さまざまなグラフ構造および問題パラメータにおいて、予測された挙動と観測された挙動の強い一致を示すシミュレーションにより検証されている。