[論文レビュー] Sparse Matrix Inversion with Scaled Lasso

Tingni Sun, Cun‐Hui Zhang|arXiv (Cornell University)|Feb 13, 2012

Sparse and Compressive Sensing Techniques参考文献 26被引用数 69

ひとこと要約

本稿では、スケーリングされたラッソを列方向に適用して高次元精密行列を推定する新しいスパース行列逆行列化手法を提案する。従来の$μat$正則化手法よりも弱い条件下で、スペクトルノルムにおける最も速い証明済み収束速度を達成し、データ駆動型ペナルティ選択と理論的保証を備え、$μat$-スペクトルノルム比が発散する場合にはより速い収束速度を示す。

ABSTRACT

We propose a new method of learning a sparse nonnegative-definite target matrix. Our primary example of the target matrix is the inverse of a population covariance or correlation matrix. The algorithm first estimates each column of the target matrix by the scaled Lasso and then adjusts the matrix estimator to be symmetric. The penalty level of the scaled Lasso for each column is completely determined by data via convex minimization, without using cross-validation. We prove that this scaled Lasso method guarantees the fastest proven rate of convergence in the spectrum norm under conditions of weaker form than those in the existing analyses of other $\ell_1$ regularized algorithms, and has faster guaranteed rate of convergence when the ratio of the $\ell_1$ and spectrum norms of the target inverse matrix diverges to infinity. A simulation study demonstrates the computational feasibility and superb performance of the proposed method. Our analysis also provides new performance bounds for the Lasso and scaled Lasso to guarantee higher concentration of the error at a smaller threshold level than previous analyses, and to allow the use of the union bound in column-by-column applications of the scaled Lasso without an adjustment of the penalty level. In addition, the least squares estimation after the scaled Lasso selection is considered and proven to guarantee performance bounds similar to that of the scaled Lasso.

研究の動機と目的

• 高次元スパース逆共分散行列を推定する計算的に実行可能で理論的に最適な手法を開発すること。
• 従来の$μat$正則化手法の限界を克服し、より弱い仮定の下でより速い収束速度を達成すること。
• 凸最適化を用いてデータ駆動型ペナルティレベルを導出することで、交差検証を必要としないペナルティ選択を実現すること。
• スケーリングラッソおよびその選択後最小二乗推定の理論的性能バインディングを確立すること。
• ペナルティ調整なしにユニオンバウンドに適合する列方向推定を可能にすること。

提案手法

• 本手法は、回帰係数とノイズ分散の共同推定量であるスケーリングラッソを用いて、目的の精密行列の各行を推定する。
• 各列のペナルティレベルは、データに依存する基準の凸最小化により決定され、交差検証を回避する。
• 得られた非対称な行列推定量は、対称的かつ半正定値となるように対称化される。
• 理論的分析は、データの正規性仮定および真の精密行列の$μat$ノルムとスペクトルノルムの上限に依存する。
• 本手法は、精密行列推定と高次元線形回帰との関係を活用し、各列を独立にスケーリングラッソに適用する。
• 推定誤差のスペクトルノルムにおけるバインディングは、集中不等式の制御を用いて導出される。

実験結果

リサーチクエスチョン

• RQ1 列方向のスケーリングラッソアプローチは、従来の$μat$正則化手法よりもスペクトルノルムでより速い収束速度を達成できるか？
• RQ2 本手法が従来手法よりも収束速度で優れる条件は何か？
• RQ3 凸最適化によるデータ駆動型ペナルティ選択は、高次元精密行列推定において交差検証を置き換えることができるか？
• RQ4 スケーリングラッソは、標準ラッソよりも推定誤差の集中をタイトにできるか？
• RQ5 ペナルティ調整なしにユニオンバウンドを列方向スケーリングラッソに適用できるか？また、理論的保証に与える影響は何か？

主な発見

• 提案手法は、従来の$μat$正則化アルゴリズムの解析よりも弱い条件下で、スペクトルノルムにおける最も速い証明済み収束速度を達成する。
• 真の精密行列の$μat$ノルムとスペクトルノルムの比が無限大に発散する場合、本手法は従来手法よりもより速い保証収束速度を示す。
• スケーリングラッソ推定量は、以前の解析よりも誤差の集中が高くなることを保証し、有限標本性能が向上する。
• ペナルティ調整なしにユニオンバウンドを列ごとの応用に適用でき、理論的分析が簡素化される。
• スケーリングラッソ選択後の最小二乗推定量は、スケーリングラッソ自体と同程度の性能バインディングを達成する。
• 理論的結果は、データ駆動型閾値を超えるペナルティレベルでは推定量が最適でないことを示し、誤差の下界が$c_{0}m^{3/2}L_{n}(m/p)$に比例することを示す。