[論文レビュー] Model Selection Through Sparse Maximum Likelihood Estimation for Multivariate Gaussian or Binary Data

Onureena Banerjee, Laurent El Ghaoui+1 more|arXiv (Cornell University)|Jan 1, 2007

Statistical Methods and Inference被引用数 5

ひとこと要約

この論文は、l1-ノルム正則化を用いてスパarsityを強制することで、ガウス分布およびバイナリの無向グラフィカルモデルに対するスパースな最尤推定法を提案する。スパースなモデル選択を数千ノード規模で行えるようにスケーラブルな2つの効率的アルゴリズム—ブロック座標降下法とネステロフの一次順序法—を導入し、内点法に比べて収束保証が保たれるとともに計算複雑性が改善された。

ABSTRACT

We consider the problem of estimating the parameters of a Gaussian or binary distribution in such a way that the resulting undirected graphical model is sparse. Our approach is to solve a maximum likelihood problem with an added l1-norm penalty term. The problem as formulated is convex but the memory requirements and complexity of existing interior point methods are prohibitive for problems with more than tens of nodes. We present two new algorithms for solving problems with at least a thousand nodes in the Gaussian case. Our first algorithm uses block coordinate descent, and can be interpreted as recursive l1-norm penalized regression. Our second algorithm, based on Nesterov’s first order method, yields a complexity estimate with a better dependence on problem size than existing interior point methods. Using a log determinant relaxation of the log partition function (Wainwright and Jordan [2006]), we show that these same algorithms can be used to solve an approximate sparse maximum likelihood problem for the binary case. We test our algorithms on synthetic data, as well as on gene expression and senate voting records data.

研究の動機と目的

• 高次元の多変量ガウス分布またはバイナリデータからスパースな無向グラフィカルモデルを学習するスケーラブルな手法の開発。
• 数十ノードを超える問題に対して内点法が計算的に非現実的であるという課題の克服。
• 既存の手法よりも良好な複雑性スケーリングを達成しつつ収束保証を維持する最適化アルゴリズムの設計。
• 分割関数の対数行列式近似を用いて、スパースな最尤推定フレームワークをバイナリデータに拡張。
• 合成データ、遺伝子発現データ、米国上院の投票記録を用いた実験的妥当性の検証。

提案手法

• スパースな精度行列を誘導するl1-ノルムペナルティを導入した凸最適化問題として、グラフィカルモデル選択問題を定式化。
• パラメータを交互に更新するブロック座標降下法を導入し、再帰的なl1-正則化回帰と同等となる。
• 内点法に比べて問題サイズに依存する性質が改善されたNesterovの一次順序法を採用。
• バイナリデータへの拡張のため、対数パーティション関数の対数行列式近似を適用。
• 得られた近似スパース最尤推定問題を、同じ2つのアルゴリズムで解く。
• 適切な最適化構造と複雑性解析を通じて収束性と計算効率を保証。

実験結果

リサーチクエスチョン

• RQ1 l1-正則化された最尤推定は、高次元ガウス分布データに対してスパースで正確なグラフィカルモデルを生成できるか？
• RQ2 スケーラブルな最適化アルゴリズムは、大規模なガウス分布グラフィカルモデルにおいて計算的に非現実的な内点法に代わることができるか？
• RQ3 リラクゼーション技術を用いて、スパースな最尤推定フレームワークをバイナリデータにどのように適応できるか？
• RQ4 提案されたアルゴリズムの計算複雑性とスケーラビリティは、実世界のデータセットにおいてどのように評価できるか？
• RQ5 提案されたアルゴリズムは、合成データおよび実世界のデータ（遺伝子発現データ、上院の投票記録など）において、どのように性能を発揮するか？

主な発見

• ブロック座標降下法により、収束保証が保たれる高次元ガウス分布グラフィカルモデルにおける効率的なスパースモデル選択が可能となった。
• ネステロフの一次順序法は、従来の内点法に比べて問題サイズに伴う複雑性スケーリングが優れている。
• 対数行列式近似により、スパースな最尤推定アプローチをバイナリデータに拡張可能であり、精度の損失は最小限に抑えられた。
• 遺伝子発現データにおいて、生物学的に妥当な調節ネットワークを効果的に同定した。
• 米国上院の投票記録では、政党所属や思想的傾向と整合する解釈可能なパターンを回復した。
• 両アルゴリズムとも、少なくとも1,000ノードの問題にスケーリング可能であり、既存の手法に比べて計算上の実現可能性が著しく優れていた。