[論文レビュー] A Constrained L1 Minimization Approach to Sparse Precision Matrix Estimation

Tommaso Cai, Weidong Liu+1 more|arXiv (Cornell University)|Feb 10, 2011

Blind Source Separation Techniques参考文献 23被引用数 24

ひとこと要約

本稿では、高次元設定におけるスパース精度行列の推定のため、制約付き ℓ₁ 最小化手法を提案する。この手法は、部分ガウス型または多項式尾分布の下で、スペクトルノルムの収束レート $ s\sqrt{\log p / n} $ を達成し、強固な理論的保証と線形計画法を用いた効率的な実装を備えている。

ABSTRACT

A constrained L1 minimization method is proposed for estimating a sparse inverse covariance matrix based on a sample of $n$ iid $p$-variate random variables. The resulting estimator is shown to enjoy a number of desirable properties. In particular, it is shown that the rate of convergence between the estimator and the true $s$-sparse precision matrix under the spectral norm is $s\sqrt{\log p/n}$ when the population distribution has either exponential-type tails or polynomial-type tails. Convergence rates under the elementwise $L_{\infty}$ norm and Frobenius norm are also presented. In addition, graphical model selection is considered. The procedure is easily implementable by linear programming. Numerical performance of the estimator is investigated using both simulated and real data. In particular, the procedure is applied to analyze a breast cancer dataset. The procedure performs favorably in comparison to existing methods.

研究の動機と目的

• 次元 $ p $ が標本サイズ $ n $ よりも大きい高次元設定において、スパース精度行列を推定する課題に対処すること。
• 弱いモーメント条件の下でも強固な理論的収束性を保ちつつ、計算が効率的な推定量を開発すること。
• 部分ガウス型および多項式尾分布の下で、スペクトルノルム、フロベニウスノルム、要素ごとの ℓ∞ ノルムの複数の行列ノルムにおいて収束レートを確立すること。
• 安定で凸最適化フレームワークを用いて、精度行列のサポート（非ゼロ要素の構造）を推定することで、一貫性のあるグラフィカルモデル選択を可能にすること。

提案手法

• 推定された精度行列が指定されたノルムで標本共分散行列に近くなるように制約を課した、制約付き ℓ₁ 最小化問題として精度行列推定を定式化する。
• 線形計画法を用いて容易に実装可能な凸最適化フレームワークを採用し、高次元問題へのスケーラビリティを実現する。
• 重い尾を持つまたは部分ガウス型分布のデータに対処するため、打ち切りと対称化の技術を適用し、モーメント条件におけるロバストネスを確保する。
• ベルンシュタインの不等式と集中不等式を用いて、一般な尾の条件の下で標本共分散行列の真の共分散行列からの逸脱を制御する。
• 経験過程理論と行列集中不等式の組み合わせを用いて、推定誤差の理論的バインディングを確立する。
• 2段階推定戦略を導入：まず ℓ₁ 制約付き最適化により非対角成分を推定し、その後で対角成分を一貫して回復する。

実験結果

リサーチクエスチョン

• RQ1 部分ガウス型および多項式尾分布の下で、スパース精度行列推定の最適収束レートは何か？
• RQ2 強い正則性条件を要しない弱いモーメント仮定のもとで、制約付き ℓ₁ 最小化アプローチが最適収束レートを達成できるか？
• RQ3 既存手法（ℓ₁-MLE やネイバーフレンド選択）と比較して、有限標本下での性能は、高次元設定においてどのように異なるか？
• RQ4 高次元漸近的条件下でも、推定量は一貫してグラフィカルモデル構造（精度行列のサポート）を回復できるか？

主な発見

• 提案された推定量は、部分ガウス型または多項式尾分布の下で、$ s $-スパース精度行列に対してスペクトルノルムの収束レート $ s\sqrt{\log p / n} $ を達成する。
• フロベニウスノルムおよび要素ごとの ℓ∞ ノルムの下でも収束レートが確立され、同様の条件下でフロベニウスノルムのレートは $ O\left(s^2 \log p / n\right)^{1/2} $ である。
• 計算が効率的で、線形計画法を用いた実装が可能であり、高次元問題へのスケーラビリティを有する。
• シミュレーションおよび実データ（乳癌データセット含む）を用いた数値実験では、既存手法と比較して優れた性能を示す。
• 理論的保証は、部分ガウス型および多項式尾分布を含む弱いモーメント条件のもとで成立し、ガウス分布の仮定を越えて適用範囲を拡張する。
• 推定量は精度行列のサポートを一貫して回復でき、高次元設定下での正確なグラフィカルモデル選択を可能にする。