[論文レビュー] A Well-Conditioned and Sparse Estimation of Covariance and Inverse Covariance Matrices Using a Joint Penalty

Ashwini Maurya|arXiv (Cornell University)|Dec 26, 2014

Statistical Methods and Inference参考文献 24被引用数 3

ひとこと要約

本稿では、組み合わせられた ℓ₁ 正則化と固有値分散ペナルティを用いた2次損失を最小化することで、スパarsity と良好な条件数の両方を同時に達成する高次元共分散行列および逆共分散行列の共同ペナルティ推定量を提案する。この手法は計算的に効率的であり、作用素ノルムにおいて最適であり、シミュレーションおよび遺伝子発現分類において既存手法を上回る性能を示す。

ABSTRACT

We develop a method for estimating well-conditioned and sparse covariance and inverse covariance matrices from a sample of vectors drawn from a sub-gaussian distribution in high dimensional setting. The proposed estimators are obtained by minimizing the quadratic loss function and joint penalty of `1 norm and variance of its eigenvalues. In contrast to some of the existing methods of covariance and inverse covariance matrix estimation, where often the interest is to estimate a sparse matrix, the proposed method is flexible in estimating both a sparse and well-conditioned covariance matrix simultaneously. The proposed estimators are optimal in the sense that they achieve the minimax rate of estimation in operator norm for the underlying class of covariance and inverse covariance matrices. We give a very fast algorithm for computation of these covariance and inverse covariance matrices which is easily scalable to large scale data analysis problems. The simulation study for varying sample sizes and variables shows that the proposed estimators performs better than several other estimators for various choices of structured covariance and inverse covariance matrices. We also use our proposed estimator for tumor tissues classification using gene expression data and compare its performance with some other classification methods.

研究の動機と目的

• 標本サイズ n が変数の数 p よりも小さい場合の高次元共分散行列および逆共分散行列の推定という課題に取り組む。
• 標本共分散行列が悪条件になる高次元設定において、標本固有値の不安定性と過分散を克服する。
• 共分散行列におけるスパarsity を同時に強制し、固有値の分散を制御して良好な条件数を確保することで、推定精度を向上させる。
• 大規模データ解析に適したスケーラブルで高速なアルゴリズムを開発し、既存の正則化手法の計算上のボトルネックを克服する。
• 構造的共分散行列のシミュレーション設定および実世界の遺伝子発現分類タスクの両方で、優れた性能を示す。

提案手法

• 行列要素の ℓ₁ ノルムとその固有値の分散の両方に対する共同ペナルティを課した2次損失関数の最小化として推定問題を定式化する。
• 共同ペナルティを用いて、ℓ₁ 正則化によるスパarsity と固有値の分散ペナルティによる固有値安定性のバランスを図り、良好な条件数を保証する。
• 凸最適化問題としての解として推定量を導出し、大規模な p および n に対しても計算可能でスケーラブルであることを保証する。
• 主成分分析、判別分析、ガウス graphical モデルへの応用を可能にするために、共分散行列および逆共分散行列の両方へ適用する。
• 反復的しきい値処理と固有値の縮小を組み合わせた高速アルゴリズムを実装し、ペナルティの構造を活かして収束を加速する。
• 最適な性能を達成するため、正則化パラメータ λ と γ のチューニングに 5 折り交差検証を用い、別個の検証セットを必要としない。

実験結果

リサーチクエスチョン

• RQ1 単一の推定量が、高次元共分散行列推定においてスパarsity と良好な条件数の両方を同時に達成できるか？
• RQ2 ℓ₁ ノルムと固有値分散の共同ペナルティは、単一の性質に焦点を当てた手法と比較して、推定精度をどのように向上させるか？
• RQ3 作用素ノルムにおけるミニマックスリスクの観点から、提案手法の理論的性能保証は何か？
• RQ4 本手法は大規模データにどのようにスケーリングできるか？また、遺伝子発現解析のような実世界の応用において、効率的に実装可能か？
• RQ5 高次元データにおける分類タスクにおいて、グラフィカルラッソ、リッジ縮小、ナイーブベイズといった既存手法を上回るか？

主な発見

• 提案された JPEN 推定量は、スパースかつ良好な条件数を持つ共分散行列および逆共分散行列の両方において、作用素ノルムにおけるミニマックス収束速度を達成する。
• シミュレーションにおいて、真の固有値が著しく分散している場合に特に顕著に、他の手法を上回る性能を示し、真の固有値スペクトルとスパース構造をよりよく回復する。
• 遺伝子発現データの分類において、JPEN を用いた LDA 分類器は p=200 のとき平均誤差率 8.2% を達成し、ロジスティック回帰（21.5%）、SVM（18.18%）、ナイーブベイズ（14.63%）を上回った。
• 従来の逆共分散行列推定が失敗する p > n の状況でも本手法は有効であり、p=200 まで低誤差を維持する。
• アルゴリズムは計算的に効率的かつスケーラブルであり、推定精度を損なわず大規模データセットでの高速計算を可能にする。
• 推定量の性能はさまざまな構造的共分散行列に対してロバストであり、固有値スペクトルの安定化によって良好な条件数を維持する。