[論文レビュー] Efficient Latent Variable Graphical Model Selection via Split Bregman Method

Gui–Bo Ye, Yuanfeng Wang+2 more|arXiv (Cornell University)|Oct 13, 2011

Face and Expression Recognition参考文献 21被引用数 4

ひとこと要約

本稿では、潜在変数グラフィカルモデル選択を解くために、Split Bregmanフレームワークを用いた効率的な1次最適化手法を提案する。観測された精度行列をスパース（条件付き依存関係）および低ランク（潜在因子効果）成分に分解する。この手法は、最先端のソルバーと比較して著しく高速な収束を達成し、遺伝子発現データ上では数10個の潜在因子が多数の観測相関を説明していることが示された。

ABSTRACT

We consider the problem of covariance matrix estimation in the presence of latent variables. Under suitable conditions, it is possible to learn the marginal covariance matrix of the observed variables via a tractable convex program, where the concentration matrix of the observed variables is decomposed into a sparse matrix (representing the graphical structure of the observed variables) and a low rank matrix (representing the marginalization effect of latent variables). We present an efficient first-order method based on split Bregman to solve the convex problem. The algorithm is guaranteed to converge under mild conditions. We show that our algorithm is significantly faster than the state-of-the-art algorithm on both artificial and real-world data. Applying the algorithm to a gene expression data involving thousands of genes, we show that most of the correlation between observed variables can be explained by only a few dozen latent factors.

研究の動機と目的

• 観測変数の部分集合しか得られない高次元設定において、潜在変数が密な相関を誘発するという課題に対処すること。
• マージナル精度行列をスパースおよび低ランク成分に分解する凸最適化問題を解くための計算的に効率的なアルゴリズムを開発すること。
• 潜在変数を伴う高次元漸近的条件下でも一貫性があり安定したグラフィカルモデル構造の推定を可能にすること。
• 合成データおよび実世界のデータ、特にゲノム分野における本手法の性能を評価すること。

提案手法

• 本手法は、対数行列式、トレース、およびℓ₁およびノルムペナルティを組み合わせた目的関数を用いて、潜在変数グラフィカルモデル選択を凸最適化問題として定式化する。
• 問題をより容易に解ける部分問題に分解するため、Split Bregman法を用いることで、効率的な1次最適化を実現する。
• スパース成分（S）、低ランク成分（L）、および双対変数（B）の更新を交互に繰り返すことで、緩い条件下でも収束を保証する。
• 正定値行列制約を、正確または近似的な部分問題解法を用いた交替方向乗数法（ADMM）フレームワークで処理する。
• 正則化パラメータの継続戦略を用いることで、収束速度と解の品質を向上させる。
• 数値的不安定性（例えば、スパース行列回復における浮動小数点誤差）を回避するように設計されており、スケーラブルかつロバストである。

実験結果

リサーチクエスチョン

• RQ1 Split Bregmanに基づく1次手法は、潜在変数グラフィカルモデル選択において、既存のソルバーと比較してより高速な収束を達成できるか？
• RQ2 高次元の遺伝子発現データにおいて、少数の潜在因子が観測相関のどの程度を説明できるか？
• RQ3 標準的なスパースガウス・グラフィカルモデルと比較して、潜在変数の組み込みがモデルの一般化性能をどの程度向上させるか？
• RQ4 提案手法は高次元設定においても数値的安定性を維持し、正確なスパース解を生成するか？

主な発見

• 提案手法（SBLVGG）は、大規模問題において、最先端のLogdetPPAソルバーと比較して、少なくとも3倍速い。
• 1,000遺伝子の発現データにおいて、潜在変数モデルはスパースガウス・グラフィカルモデルを一貫して上回り、10回の実験平均で負の対数尤度（NLoglike）が-2,669.9（潜在変数モデル）対-2,526.3（スパースモデル）であった。
• p=1000遺伝子のデータでは、平均して約50個の潜在因子が予測されたことから、多数の相関がわずか数10個の隠れ変数によって駆動されていることが示された。
• 観測変数間の直接的な条件付き依存関係を表すスパース成分（S）は通常数十本のエッジであり、一部のケースではゼロであることが確認され、潜在因子が相関構造を支配していることが裏付けられた。
• LogdetPPAとは異なり、本手法はスパース行列回復において浮動小数点誤差を効果的に回避し、正確なスパーシティを達成した。
• 結果は、翻訳後調節が従来の予想よりも大きく、遺伝子発現相関の構造を形作る要因である可能性を支持する。