[論文レビュー] A Pathwise Algorithm for Covariance Selection

V. Krishnamurthy, Alexandre d’Aspremont|arXiv (Cornell University)|Aug 2, 2009

Face and Expression Recognition被引用数 4

ひとこと要約

この論文は、数値連続法を用いて、スパース逆分散共分散行列の全正則化パスを効率的に計算するパスワイズなアルゴリズムを提案する。予測子・補正子ステップを組み合わせ、立方体方程式を閉形式で解く座標降下法を用いることで、各正則化パラメータを個別に解く手法と比較して、計算コストを顕著に低減する。

ABSTRACT

Covariance selection seeks to estimate a covariance matrix by maximum likelihood while restricting the number of nonzero inverse covariance matrix coefficients. A single penalty parameter usually controls the tradeoff between log likelihood and sparsity in the inverse matrix. We describe an efficient algorithm for computing a full regularization path of solutions to this problem.

研究の動機と目的

• スパース逆共分散推定の全正則化パスを計算する際の計算課題に対処すること。
• 異なるペナルティパラメータに対して複数回の共分散選択問題を解くコストを低減すること。
• 大規模な問題に対して、ウォームスタートとパスフォロwing技術を活用するスケーラブルで効率的な手法を開発すること。
• 交差検証で複数のペナルティ値を探索する必要がある高次元設定において、共分散選択の実用的応用を可能にすること。
• 共分散行列が段階的に更新されるオンライン設定にこのフレームワークを拡張すること。

提案手法

• 逆共分散行列にℓ1ペナルティを適用することで、共分散選択問題を凸最適化問題として定式化する。
• 予測子・補正子法を用いた数値連続法により、高いペナルティ値から低いペナルティ値へと正則化パスを追跡する。
• パスに沿って次の解を推定するために、共役勾配を用いて大規模な構造的線形システムを解く予測子ステップを採用する。
• 各更新が閉形式で立方体方程式を解くことで実現される座標降下アルゴリズムを用いて補正子ステップを実装する。
• 双対定式化を導出し、バリア法を用いて中央パスを定義し、パスフォロウの手続きをガイドする。
• サンプル共分散行列が段階的に変化する際の効率的な解の更新を可能にすることで、オンライン共分散選択用にアルゴリズムを適合させる。

実験結果

リサーチクエスチョン

• RQ1 各ペナルティパラメータに対して個別に最適化問題を解かずに、スパース逆共分散行列の全正則化パスをどのように効率的に計算できるか？
• RQ2 個別に最適化問題を解く手法と比較して、予測子・補正子連続法を用いることで得られる計算上の利点は何か？
• RQ3 閉形式での更新が可能な座標降下法を、パスワイズアルゴリズムの補正子ステップに効果的に適用できるか？
• RQ4 合成データおよび実世界のデータにおいて、収束速度とスパース回復性能の観点から、このアルゴリズムはどのように性能を発揮するか？
• RQ5 共分散行列に段階的な更新が加わるオンライン学習のシナリオにおいて、このアルゴリズムはどの程度適応可能か？

主な発見

• ウォームスタートとパスフォロウ技術を活用することで、過去の解から得られる情報を再利用することで、パスワイズアルゴリズムは計算コストを顕著に低減する。
• 補正子ステップでは、各更新が立方体方程式を閉形式で解くことで実現される座標降下法が用いられ、効率性が向上する。
• 予測子ステップでは、条件数が良好な場合に共役勾配を用いて大規模な線形システムを効率的に解く。
• 数値実験の結果、次元が増大してもアルゴリズムのスケーリングが良好であり、正確なスパース逆共分散推定が得られる。
• オンライン版のアルゴリズムは、k=1の単一の予測子・補正子ステップを用いて、共分散行列の更新後に高速に収束するため、大規模またはストリーミングデータに適している。