[論文レビュー] Sparse Covariance Selection via Robust Maximum Likelihood Estimation

Banerjee, Onureena, d'Aspremont, Alexandre+1 more|ArXiv.org|Jun 8, 2005

Statistical Methods and Inference参考文献 13被引用数 11

ひとこと要約

本稿では、高次元ガウスグラフィカルモデルにおける条件付き独立構造の回復を目的として、l1正則化推定を用いた頑健な最尤推定法を提案する。l1正則化を逆分散共分散行列に施し、条件数に制約を課した凸最適化問題を解くことで、ノイズが混入した密集した標本共分散行列からでも、正確な構造回復が可能となる。効率的なアルゴリズムにより大規模な応用が可能となり、内点法を上回る計算複雑度の改善が達成される。

ABSTRACT

We address a problem of covariance selection, where we seek a trade-off between a high likelihood against the number of non-zero elements in the inverse covariance matrix. We solve a maximum likelihood problem with a penalty term given by the sum of absolute values of the elements of the inverse covariance matrix, and allow for imposing bounds on the condition number of the solution. The problem is directly amenable to now standard interior-point algorithms for convex optimization, but remains challenging due to its size. We first give some results on the theoretical computational complexity of the problem, by showing that a recent methodology for non-smooth convex optimization due to Nesterov can be applied to this problem, to greatly improve on the complexity estimate given by interior-point algorithms. We then examine two practical algorithms aimed at solving large-scale, noisy (hence dense) instances: one is based on a block-coordinate descent approach, where columns and rows are updated sequentially, another applies a dual version of Nesterov's method.

研究の動機と目的

• 高次元でノイズが混入した標本共分散行列から、スパース逆分散共分散行列を効率的に推定する手法の開発。
• 逆分散共分散行列へのスパarsityの促進を通じて、ガウスグラフィカルモデルにおける条件付き独立構造の回復。
• 標準的な内点法を上回る大規模問題における計算効率の向上。
• スパース共分散選択問題を解くための理論的複雑度の境界と実用的アルゴリズムの提供。
• ノイズ下でも真のスパースネスパターンの回復における頑健性と正確性の検証。

提案手法

• 逆分散共分散行列にl1正則化を施した凸最適化問題としてスパース共分散選択を定式化し、スパarsityを促進。
• 標本共分散行列の成分ごとの有界な摂動を想定したロバスト最適化解釈を採用し、最悪ケース尤度を最大化する解法を導出。
• Nesterovの最適な一次元法を双対問題に適用し、内点法を上回る理論的複雑度を達成。
• 行と列を逐次更新するブロック座標降下法を提案し、収束性向上のための条件数制約をオプションで導入。
• 解の条件数を制御するため、固有値の境界（αI ≼ X ≼ βI）を課し、数値的安定性を向上。
• 双対性に基づくフレームワークを用いて収束保証と計算複雑度の推定を導出。

実験結果

リサーチクエスチョン

• RQ1 ノイズが混入した密集した標本データから、l1正則化付き最尤推定が逆分散共分散行列の真のスパースネスパターンを効果的に回復できるか。
• RQ2 ノイズ下での構造回復の正確性に、罰則パラメータρの選択がどのように影響するか。
• RQ3 大規模スパース共分散選択問題を解く際の計算複雑度は何か。また、内点法を超える改善が可能か。
• RQ4 Nesterov法とブロック座標降下法は、大規模問題における収束速度と解の品質の観点でどのように比較されるか。
• RQ5 標本共分散行列が密集しておりノイズが多い状況下でも、提案手法が高次元データにおける条件付き独立構造を信頼性高く同定できるか。

主な発見

• 罰則パラメータρをノイズレベルσに近い値に設定した場合、逆分散共分散行列の真のスパースネスパターンが正確に回復可能であり、ρの幅広い範囲で正確な回復が達成される。
• ρ ≈ σの場合、解における非ゼロ係数の最小絶対値がゼロ係数の最大絶対値を上回り、正確なしきい値処理による回復が可能となる。
• ブロック座標降下法は、理論的複雑度境界に乏しいものの、実用的な性能が優れており、Kスイープに対する計算コストはO(Kn⁴)程度である。
• Nesterovの双対法は、内点法を上回る顕著な理論的複雑度の改善を達成しており、問題サイズ依存性が改善されている。
• 数値実験では、低精度の解でも大多数の非ゼロ係数を同定可能であり、n=300の場合の典型的な計算時間は1.5GHzのラップトップで約20分程度である。
• ρが安定な区間内にある場合、平均分類誤差は1%未満に低下し、誤差棒から複数のランダムインスタンスにわたる一貫性ある性能が示されている。