[論文レビュー] Estimation of Covariance Matrices under Sparsity Constraints

Philippe Rigollet, Alexandre B. Tsybakov|arXiv (Cornell University)|May 6, 2012

Sparse and Compressive Sensing Techniques参考文献 4被引用数 4

ひとこと要約

本稿は、Frobeniusノルムを用いたスパース制約下での高次元共分散行列推定におけるミニマックス最適レートを確立し、真の共分散行列が正確にスパースでない場合でも、ソフトしきい値推定器がオラクル不等式を達成することを示している。この研究は、次元に関する制限的な仮定を排除し、すべての $ n $, $ p $, スパースパラメータの組み合わせにおいて最適性を示す、包括的なフレームワークを提供する。

ABSTRACT

We prove optimal sparsity oracle inequalities for the estimation of covariance matrix under the Frobenius norm. In particular we explore various sparsity structures on the underlying matrix.

研究の動機と目的

• スパース制約下での共分散行列推定におけるミニマックス最適レートを確立すること、特に $ p \gg n $ の高次元設定において。
• ガウス共分散推定において、Kullback-Leibler発散最小化の動機付けから、Frobeniusノルムがリスク評価に自然かつ最適な選択であることを示すこと。
• 真の共分散行列が正確にスパースでないが、スパース行列でよく近似できる場合でも成立する、ソフトしきい値推定器に対するオラクル不等式を導出すること。
• ミニマックス下界において、$ p \geq n^\nu $, $ \nu > 1 $ という制限的な仮定を排除し、すべての $ n $, $ p $ の設定においてレートの最適性を示すこと。
• Frobeniusノルムと $ \ell_q $-タイプのスパース性制約を用いることで、さまざまなスパースクラスにわたる解析を統一し、ハードしきい値法を超えた結果を拡張すること。

提案手法

• ガウスモデルにおけるKullback-Leibler発散最小化との関連から、主にリスク測度としてFrobeniusノルムを採用する。
• 従来の研究を改善する新しい技術的アプローチを用いて、$ p \geq n^\nu $ を要件としないミニマックス下界（定理1）を導出する。
• ソフトしきい値推定器 $ \tilde{\Sigma} $ に対してオラクル不等式を適用し、次式で定義されるペナルティ付きFrobenius損失最小化の解として表す：$ \tilde{\Sigma}_{\text{off}} = \arg\min_{S: \text{diag}(S)=0} \left\{ |S - \Sigma^*|_2^2 + 2\tau |S|_1 \right\} $。
• しきい値 $ \tau = A\gamma \sqrt{\frac{\log p}{n}} $ を設定し、$ A > 1 $ とすることで、推定誤差の高確率的制御を達成する。
• 決定論的オラクル不等式（定理2）を確立：$ \|\tilde{\Sigma} - \Sigma\|^2 \leq \min_S \left\{ \|S - \Sigma\|^2 + \left(\frac{1+\sqrt{2}}{2}\right)^2 A^2 \gamma^2 \frac{|S|_0 \log p}{n} \right\} $。
• 補間を用いて $ \ell_q $-スパース性へ拡張し、補題1を導出：$ 0 < q < 2 $ に対して $ \|\tilde{\Sigma} - \Sigma\|^2 \leq \min_S \left\{ 2\|S - \Sigma\|^2 + C' |S|_q^q \left(\frac{\log p}{n}\right)^{1 - q/2} \right\} $。

実験結果

リサーチクエスチョン

• RQ1 高次元設定において、制限的な仮定 $ p \geq n^\nu $, $ \nu > 1 $ を必要とせずに、共分散行列推定のミニマックス下界を確立できるか？
• RQ2 特にガウスモデルにおいて、スパース性下での共分散推定において、$ \|\cdot\|_1 $ よりもFrobeniusノルムがより適切なリスク測度であるとされるか？
• RQ3 真の共分散行列が正確にスパースでない場合でも、ソフトしきい値推定器が近似的にスパースな共分散行列に対してオラクル不等式を達成できるか？
• RQ4 スパース性制約 $ \ell_q $ の下での共分散行列推定の最適収束レートは何か？ そして、すべての $ n $, $ p $, スパースパラメータの組み合わせにおいてミニマックス最適性を満たすか？
• RQ5 ソフトしきい値推定器は、グローバルスパース性や近似的スパース性を含むさまざまなスパースクラスにおいて、ハードしきい値推定器と同等の最適レートを達成できるか？

主な発見

• ミニマックス下界（定理1）は、$ p \geq n^\nu $, $ \nu > 1 $ の仮定を必要とせず成立し、導出されたレート $ \psi^{(1)} $ は、すべての $ n $, $ p $, スパースパラメータに対して最適であると予想される。
• ソフトしきい値推定器は、近似誤差とスパースペナルティのバランスを取るオラクル不等式（定理2）を達成し、正確にスパースでない真の共分散行列に対しても有効である。
• $ 0 < q < 2 $ に対して、クラス $ \mathcal{G}_q^{(0)}(R) $ においてレート $ R^{1/2} \left( \frac{\log p}{n} \right)^{1/2 - q/4} $ がミニマックス最適であり、$ R n^{q/2} \leq p^{2\alpha} $ を満たす $ \alpha < 1 $ が存在する場合に成立する。
• $ q = 0 $（正確なスパース性）の場合、非対角要素の非ゼロ数 $ k $ に対して $ k \leq p^{2\alpha} $ の条件下で、このレートは最適である。
• Lemma 1 により、ガウスモデルにおいてFrobeniusノルムがKullback-Leibler発散最小化と整合するため、自然なリスク測度であることが示された。
• 本稿は、ソフトしきい値推定器がハードしきい値推定器と同等の最適レートを達成することを確立したが、近似的スパース性に対してはより高いロバストネスを有することが付加的利点である。