[論文レビュー] A convex framework for high-dimensional sparse Cholesky based covariance estimation

Kshitij Khare, Sang Min Oh+2 more|arXiv (Cornell University)|Oct 7, 2016

Sparse and Compressive Sensing Techniques参考文献 4被引用数 5

ひとこと要約

本稿では、逆共分散行列のコレスキー分解を正則化することにより、高次元スパース共分散推定のための新規な凸最適化フレームワークを提案する。この手法は、p > n の場合でも正定値性と収束性を保証し、シミュレーションおよび実データにおいて優れた有限標本性能を示すとともに、高次元推定およびグラフ選択の一貫性を達成する。

ABSTRACT

Covariance estimation for high-dimensional datasets is a fundamental problem in modern day statistics with numerous applications. In these high dimensional datasets, the number of variables p is typically larger than the sample size n. A popular way of tackling this challenge is to induce sparsity in the covariance matrix, its inverse or a relevant transformation. In particular, methods inducing sparsity in the Cholesky pa- rameter of the inverse covariance matrix can be useful as they are guaranteed to give a positive definite estimate of the covariance matrix. Also, the estimated sparsity pattern corresponds to a Directed Acyclic Graph (DAG) model for Gaussian data. In recent years, two useful penalized likelihood methods for sparse estimation of this Cholesky parameter (with no restrictions on the sparsity pattern) have been developed. How- ever, these methods either consider a non-convex optimization problem which can lead to convergence issues and singular estimates of the covariance matrix when p > n, or achieve a convex formulation by placing a strict constraint on the conditional variance parameters. In this paper, we propose a new penalized likelihood method for sparse estimation of the inverse covariance Cholesky parameter that aims to overcome some of the shortcomings of current methods, but retains their respective strengths. We ob- tain a jointly convex formulation for our objective function, which leads to convergence guarantees, even when p > n. The approach always leads to a positive definite and symmetric estimator of the covariance matrix. We establish high-dimensional estima- tion and graph selection consistency, and also demonstrate finite sample performance on simulated/real data.

研究の動機と目的

• 変数の数 p が標本サイズ n を超える高次元共分散推定の課題に対処すること。
• スパースコレスキーに基づく推定における既存の非凸または制約付き凸手法の限界を克服すること。
• 収束性と共分散推定量の正定値性を保証する、T と D を同時に最適化する共同凸最適化フレームワークの開発。
• 高次元設定において推定およびグラフ選択の一貫性を確保すること。
• 特に標本数が少ない場合（p > n）に、シミュレーションおよび実世界のデータにおいて有限標本性能が向上することを示すこと。

提案手法

• コレスキー係数 T と対角分散行列 D を同時に最適化する凸目的関数に基づくペナルティ付き尤度法を提案する。
• T の要素にラッソ型ペナルティを適用してスパarsityを誘導し、ブロック座標勾配法が可能なように目的関数を構造化する。
• T と D に関して目的関数が共同凸であることを保証し、高次元設定下でも収束保証を可能にする。
• コレスキー係数を行単位で分割することで、最適化を一連の凸部分問題に定式化する。
• 修正コレスキー分解 Σ⁻¹ = TᵗDT を用いる。ここで T は単位対角を持つ下三角行列で、D は正の要素を持つ対角行列である。
• 和集合不等式と集中不等式を用いて、スパarsityと n に対する p の多項式的増加の下で高次元一貫性を確立する。

実験結果

リサーチクエスチョン

• RQ1 p > n の場合に収束性と正定値性を保証する、スパースコレスキーに基づく逆共分散推定のための凸最適化フレームワークを開発可能か？
• RQ2 提案手法は高次元推定およびグラフ選択の一貫性を達成するか？
• RQ3 有限標本性能において、既存の非凸または制約付き凸アプローチと比較してどのように差がつくか？
• RQ4 高次元スパースガウスグラフィカルモデルにおいて、真の潜在的DAG構造を効果的に回復できるか？
• RQ5 標本サイズに応じて性能はどのように変化するか、特に標本数が少ない（p > n）状況での挙動は？

主な発見

• 提案された CSCS（Convex Sparse Cholesky）手法は、T と D を同時に最適化する共同凸最適化問題を実現し、p > n の場合でも共分散推定量の収束性と正定値性を保証する。
• シミュレーションおよび実データ（コールセンター・データ）において、CSCS は予測誤差の観点でスパースコレスキーおよびスパースDAGを上回り、特に訓練標本サイズが小さい場合（T = 75, 100）に顕著な優位性を示す。
• T = 75（n < p）のとき、CSCS は51の時間間隔のうち26回で最小の予測誤差を達成したのに対し、スパースコレスキーは7回、スパースDAGは18回であった。
• 全訓練サイズにおいて集約予測誤差が最も低く、T = 75 のときの平均誤差は39.22であった。これはスパースコレスキーの41.28およびスパースDAGの39.42を下回る。
• p = O(n^κ)（κ < 1）の条件下で、弱い正則性条件のもとで高次元推定およびグラフ選択の一貫性を達成する。
• CSCS推定量は、全訓練サイズにおいて標本共分散行列を常に上回り、最小予測誤差が2回にとどまる最悪の性能を示す標本共分散行列と比較して一貫して優れている。