[論文レビュー] Sparsistency and rates of convergence in large covariance matrix estimation

Clifford Lam, Jianqing Fan|London School of Economics and Political Science Research Online (London School of Economics and Political Science)|Nov 26, 2007

Sparse and Compressive Sensing Techniques被引用数 9

ひとこと要約

本稿は、非凹な罰則付き尤度法を用いた高次元共分散行列および精度行列推定におけるスパースネスの一致性と収束速度を確立する。一般の罰則関数のもとで、Frobeniusノルムの収束速度は (sn log pn/n)^1/2 であることが示され、L1罰則では非スパース要素の割合が低い（s′_n = O(pn)）必要があるが、SCADおよびハードスレッショーディングでは制限なしに高いスパースネスが可能である。

ABSTRACT

This paper studies the sparsistency and rates of convergence for estimating sparse covariance and precision matrices based on penalized likelihood with nonconvex penalty functions. Here, sparsistency refers to the property that all parameters that are zero are actually estimated as zero with probability tending to one. Depending on the case of applications, sparsity priori may occur on the covariance matrix, its inverse or its Cholesky decomposition. We study these three sparsity exploration problems under a unified framework with a general penalty function. We show that the rates of convergence for these problems under the Frobenius norm are of order $(s_n\log p_n/n)^{1/2}$, where $s_n$ is the number of nonzero elements, $p_n$ is the size of the covariance matrix and $n$ is the sample size. This explicitly spells out the contribution of high-dimensionality is merely of a logarithmic factor. The conditions on the rate with which the tuning parameter $λ_n$ goes to 0 have been made explicit and compared under different penalties. As a result, for the $L_1$-penalty, to guarantee the sparsistency and optimal rate of convergence, the number of nonzero elements should be small: $s_n'=O(p_n)$ at most, among $O(p_n^2)$ parameters, for estimating sparse covariance or correlation matrix, sparse precision or inverse correlation matrix or sparse Cholesky factor, where $s_n'$ is the number of the nonzero elements on the off-diagonal entries. On the other hand, using the SCAD or hard-thresholding penalty functions, there is no such a restriction.

研究の動機と目的

• . スパースな共分散行列および精度行列の推定において、ゼロパラメータがゼロと推定される確率が1に収束する、いわゆるスパースネスの一致性を確立すること。
• . Frobeniusノルムにおけるスパースな共分散行列および精度行列の推定の最適収束レートを導出すること。
• . L1、SCAD、ハードスレッショーディングの異なる罰則関数がスパースネスの一致性和収束速度に与える影響を比較すること。
• . 高次元設定下での異なる罰則関数による推定器のバイアスを明示的に特定すること。
• . 既存の研究の限界を克服し、収束性およびスパースネスの一致性の結果において次元数（pn）と非スパース要素数（sn）の関係を明確にすること。

提案手法

• . 一般の罰則関数を用いた統一的な枠組みを採用し、スパースな共分散、精度、またはコレスキー分解行列を推定する。
• . 非凹な罰則を用いた罰則付き負の対数尤度を用い、推定行列のスパースネスを誘導する。
• . 真のパrameter空間および罰則関数に関する正則性条件のもとで、漸近正規性および一貫性の結果を導出する。
• . 行列の摂動理論およびネウマン級数展開を用いて、ヘッセ行列およびフィッシャー情報行列の挙動を分析する。
• . 推定誤差を測定するためのFrobeniusノルムを用い、標本サイズ（n）、次元（pn）、非ゼロ要素数（sn）を用いて収束速度を導出する。
• . 目的関数をバイアス、ばらつき、罰則の項に分解し、作用素ノルムおよびFrobeniusノルムをきめ細かく制御することで証明を実施する。

実験結果

リサーチクエスチョン

• RQ1 . 一般の非凹な罰則のもとで、罰則付き尤度推定量は高次元共分散行列および精度行列のスパースネスの一致성을達成するか？
• RQ2 . Frobeniusノルムにおけるスパースな共分散行列および精度行列の推定の最適収束レートは何か？
• RQ3 . L1、SCAD、ハードスレッショーディングの異なる罰則関数は、スパースネスの一致性和収束速度にどのように影響するか？
• RQ4 . それぞれの罰則関数下での罰則付き推定量の明示的なバイアスは何か？
• RQ5 . L1罰則推定において、非ゼロ要素数（s′_n）がどのような条件下でスパースネスの一致性が保証されるか？

主な発見

• . Frobeniusノルムにおけるスパースな共分散行列または精度行列の推定の収束速度は (sn log pn/n)^1/2 であり、snは非スパース要素数を表す。
• . L1罰則推定では、スパースネスの一致性および最適レートを達成するには s′_n = O(pn) が必要であり、非ゼロ非対角要素数が次元に比べてゆっくりと増加する必要がある。
• . SCADおよびハードスレッショーディング罰則では、s′_n に同様の制限が課されず、スパースネスの一致性を失うことなくより高い非スパースレートを許容する。
• . L1罰則推定量のバイアスは明示的に導出され、推定誤差と同程度のオーダーであることが示された。
• . 証明により、弱い正則性条件のもとで推定量がスパースネスの一致性を達成することが保証され、ゼロパラメータを正しく推定する確率が1に収束することが示された。
• . 収束速度は対数要因を除きミニマックス最適であり、高次元性が誤差に与える寄与が対数的であることを示している。