[論文レビュー] Model Selection Through Sparse Maximum Likelihood Estimation

Onureena Banerjee, Laurent El Ghaoui+1 more|ArXiv.org|Jul 4, 2007

Bayesian Modeling and Causal Inference参考文献 5被引用数 117

ひとこと要約

本稿では、逆分散共分散行列のスパarsityを誘導するためのℓ₁ノルム正則化を用いた、ガウス型およびバイナリーデータのためのスパース最大尤度推定法を提案する。この手法は、高次元問題（最大1,000ノード）にスケーリング可能な2つの効率的アルゴリズム—ブロック座標降下法とネステロフの一次元法—を導入し、証明可能な収束性と内点法よりも優れた複雑さを備えた、遺伝子発現データおよび投票記録データにおける正確なモデル選択を可能にする。

ABSTRACT

We consider the problem of estimating the parameters of a Gaussian or binary distribution in such a way that the resulting undirected graphical model is sparse. Our approach is to solve a maximum likelihood problem with an added l_1-norm penalty term. The problem as formulated is convex but the memory requirements and complexity of existing interior point methods are prohibitive for problems with more than tens of nodes. We present two new algorithms for solving problems with at least a thousand nodes in the Gaussian case. Our first algorithm uses block coordinate descent, and can be interpreted as recursive l_1-norm penalized regression. Our second algorithm, based on Nesterov's first order method, yields a complexity estimate with a better dependence on problem size than existing interior point methods. Using a log determinant relaxation of the log partition function (Wainwright & Jordan (2006)), we show that these same algorithms can be used to solve an approximate sparse maximum likelihood problem for the binary case. We test our algorithms on synthetic data, as well as on gene expression and senate voting records data.

研究の動機と目的

• 無向グラフィカルモデルにおける高次元モデル選択のための計算的に効率的な手法の開発。
• 大規模なスパース逆分散共分散推定に際して、内点法の過大な計算コストを解決すること。
• パーティション関数の対数行列式近似を用いて、バイナリーデータへのスパース最大尤度推定の拡張。
• 既存の手法よりも問題サイズに依存する複雑さが優れているアルゴリズムの提供。
• 遺伝子発現および米国上院の投票記録を含む実世界データを用いた手法の妥当性の検証。

提案手法

• 逆分散共分散行列にℓ₁ノルム正則化を施した凸最適化問題として、スパースガウス型グラフィカルモデル選択を定式化する。
• 双対問題を導出し、ブロック座標降下法を用いて、ℓ₁正則化回帰により逆分散共分散行列の各行/列を反復的に更新する。
• 内点法よりも問題サイズに優れた複雑さのスケーリングを達成するため、ネステロフの一次元法を適用する。
• WainwrightとJordan（2006）が提案したように、パーティション関数の対数行列式近似を用いて、バイナリーデータへの拡張を実現する。
• カイ二乗分布近似を用いた有意性に基づくペナルティパラメータ選択ルールを実装し、誤発見率を制御する。
• バイナリーエキスパンション族モデルにおける扱いが困難な対数パーティション関数を、近似に基づくアプローチで処理する。

実験結果

リサーチクエスチョン

• RQ1 ℓ₁ペナルティ付き最大尤度推定は、高次元ガウス型データに対してスパースで解釈可能なグラフィカルモデルを生成できるか？
• RQ2 10数変数を超える問題において、スパース逆分散共分散推定の計算複雑さをどのように低減できるか？
• RQ3 パーティション関数の近似を用いることで、同じ最適化フレームワークをバイナリーデータに適応可能か？
• RQ4 提案されたアルゴリズムの理論的複雑さと収束性は、内点法と比較してどのように異なるか？
• RQ5 得られたグラフィカルモデルは、実データセットにおける既知の生物学的および社会的関係をどれほど正確に回復できるか？

主な発見

• ブロック座標降下法は収束を示し、各ノードの近隣選択に関して再帰的ℓ₁正則化回帰として解釈可能である。
• ネステロフに基づくアルゴリズムは、内点法よりも問題サイズに優れた複雑さの見積もりを提供し、大規模問題に適している。
• Hughes遺伝子発現データセットでは、6,136遺伝子のうち5,797遺伝子が条件付き独立であると推定され、LDLレセプターは脂質およびステロイド代謝に関与する遺伝子と強く関連していた。
• Iconixマイクロアレイデータセット（500遺伝子）では、339遺伝子が条件付き独立と推定され、LDLレセプターは主要な代謝調節因子およびアノテーションのないESTsと関連していた。
• 米国上院の投票記録（100名の上院議員）では、政党所属が接続パターンに強く影響し、ChafeeやAllenといった有名な政治的要人が期待される構造的役割を果たしていた。
• 上院データのグラフィカルモデルは、近似に基づくものではあるが、一般的な政治的常識およびマスコミの報道と一致しており、手法の解釈可能性が裏付けられた。