[論文レビュー] Optimal Covariance Estimation for Condition Number Loss in the Spiked Model

David L. Donoho, Behrooz Ghorbani|arXiv (Cornell University)|Oct 17, 2018

Random Matrices and Applications参考文献 45被引用数 6

ひとこと要約

本稿は、変数の数 $p$ と観測数 $n$ が比例して増加するスパiked共分散モデルにおいて、相対的条件数損失の下で漸近的に最適な非線形縮小推定量を導出する。最適な縮小関数は、$\gamma = p/n$ と最大固有値に依存し、$\gamma \gg 1$ の場合、大きな固有値は $1/(1+\gamma)$ の要因で縮小され、中程度の $\gamma$ の場合、顕著な固有成分が抑制されることがある。この結果、高次元的状況下では純粋に対角行列の推定量が最適となる。

ABSTRACT

We study estimation of the covariance matrix under relative condition number loss $κ(Σ^{-1/2} \hatΣ Σ^{-1/2})$, where $κ(Δ)$ is the condition number of matrix $Δ$, and $\hatΣ$ and $Σ$ are the estimated and theoretical covariance matrices. Optimality in $κ$-loss provides optimal guarantees in two stylized applications: Multi-User Covariance Estimation and Multi-Task Linear Discriminant Analysis. We assume the so-called spiked covariance model for $Σ$, and exploit recent advances in understanding that model, to derive a nonlinear shrinker which is asymptotically optimal among orthogonally-equivariant procedures. In our asymptotic study, the number of variables $p$ is comparable to the number of observations $n$. The form of the optimal nonlinearity depends on the aspect ratio $γ=p/n$ of the data matrix and on the top eigenvalue of $Σ$. For $γ> 0.618...$, even dependence on the top eigenvalue can be avoided. The optimal shrinker has two notable properties. First, when $p/n ightarrow γ\gg 1$ is large, it shrinks even very large eigenvalues substantially, by a factor $1/(1+γ)$. Second, even for moderate $γ$, certain highly statistically significant eigencomponents will be completely suppressed. We show that when $γ\gg 1$ is large, purely diagonal covariance matrices can be optimal, despite the top eigenvalues being large and the empirical eigenvalues being highly statistically significant. This aligns with practitioner experience. We identify intuitively reasonable procedures with small worst-case relative regret - the simplest being generalized soft thresholding having threshold at the bulk edge and slope $(1+γ)^{-1}$ above the bulk. For $γ< 2$ it has at most a few percent relative regret.

研究の動機と目的

• 相対的条件数損失の下でスパiked共分散モデルにおける共分散推定の漸近的最適な縮小関数を導出すること。
• 直交同値な手続きの中で条件数損失を最小化する固有値の非線形縮小の最適な非線形性を特定すること。
• 大きな最大固有値が存在するにもかかわらず、純粋に対角行列の共分散推定量が最適となる状況を同定すること。
• 実用的な縮小手続きの最悪事例相対的後悔を定量し、最小後悔を達成するものを同定すること。
• 比例成長漸近的枠組み（$p,n \to \infty$, $p/n \to \gamma$）における最適縮小関数の理論的保証を確立すること。

提案手法

• 非単位固有値のランクが固定されたスパiked共分散モデルを用い、バルク固有値を1に設定する。
• 比例成長漸近的枠組みを適用し、$p,n \to \infty$ かつ $p/n \to \gamma \in (0,\infty)$ とする。
• 最適非線形性 $\eta^*(\cdot)$ の閉形式表現を導出する。これは $\gamma$ と極限における最大固有値 $\ell_1$ に依存する。
• 固有値の収束を用いて漸近的最適性を確立する。$\Sigma^{-1/2}\hat{\Sigma}\Sigma^{-1/2}$ の固有値がブロック構造を持つ漸近的ピボット行列 $\Delta^a$ の固有値に収束することを示す。
• 極端な固有値が一致するように保証するため、『飛び出しのない条件』を用い、2×2ブロック行列の固有値と一致させることで、最適な縮小関数を導出する。
• 未知の $\ell_1$ を観測された最大固有値 $\lambda_1$ で置き換えることで、データ駆動型バージョン $\eta^e$ を提案する。

実験結果

リサーチクエスチョン

• RQ1 スパikedモデルにおける相対的条件数損失の下で、共分散推定の漸近的最適な非線形縮小関数は何か？
• RQ2 最適な縮小関数は、$\gamma = p/n$ と最大固有値 $\ell_1$ にどのように依存するか？
• RQ3 大きな最大固有値が存在するにもかかわらず、純粋に対角行列の共分散行列が漸近的に最適となる条件は何か？
• RQ4 実用的な縮小手続きの最悪事例相対的後悔は何か？また、どの手続きが最小の後悔を達成するか？
• RQ5 $\gamma \gg 1$ の場合、最適な縮小関数はどのように振る舞い、高次元的推定にどのような含意を持つのか？

主な発見

• $\gamma \gg 1$ の場合、最適な縮小関数は非常に大きな固有値ですら $1/(1+\gamma)$ の要因で縮小され、条件数が顕著に低減される。
• $\gamma > 0.618033\dots$ の場合、最適な縮小関数は最大固有値 $\ell_1$ に依存しなくなり、その形が単純化される。
• 中程度の $\gamma$ の場合でさえ、非常に有意な統計的固有成分が最適な縮小関数で完全に抑制されることがある。
• $\gamma \gg 1$ の場合、純粋に対角行列の共分散行列が漸近的に最適となり、実務的経験と整合的である。
• バッキングエッジにおける閾値と勾配 $(1+\gamma)^{-1}$ を持つ一般化されたソフトしきい値ルールは、$\gamma < 2$ の場合、最悪事例相対的後悔が数パーセント未満に抑えられる。
• 最適漸近的損失は $L^*(\ell_1; \gamma) = \kappa_1^*(\ell_1; \gamma)$ で与えられ、これは $\ell_1$ と $\gamma$ のみに依存する関数である。