[論文レビュー] Learning Graphical Models With Hubs

Kean Ming Tan, Palma London+4 more|arXiv (Cornell University)|Feb 28, 2014

Machine Learning and Algorithms参考文献 55被引用数 49

ひとこと要約

本稿では、ハブノード（多数の他のノードと密に接続されたノード）を有する高次元グラフィカルモデルを学習するため、行と列の重複ノルム正則化項を用いた凸最適化フレームワークを提案する。これは、すべてのエッジが均等にスパースであると仮定する標準的な $λ_1$-正則化手法よりも優れた性能を示す。本手法はADMMを用いてガウス、共分散、およびイジンググラフィカルモデルに適用され、合成データおよび実データ（遺伝子発現データやウェブページデータなど）において高い精度を達成した。

ABSTRACT

We consider the problem of learning a high-dimensional graphical model in which certain hub nodes are highly-connected to many other nodes. Many authors have studied the use of an l1 penalty in order to learn a sparse graph in high-dimensional setting. However, the l1 penalty implicitly assumes that each edge is equally likely and independent of all other edges. We propose a general framework to accommodate more realistic networks with hub nodes, using a convex formulation that involves a row-column overlap norm penalty. We apply this general framework to three widely-used probabilistic graphical models: the Gaussian graphical model, the covariance graph model, and the binary Ising model. An alternating direction method of multipliers algorithm is used to solve the corresponding convex optimization problems. On synthetic data, we demonstrate that our proposed framework outperforms competitors that do not explicitly model hub nodes. We illustrate our proposal on a webpage data set and a gene expression data set.

研究の動機と目的

• 標準的な $λ_1$-正則化グラフィカルモデルの限界を解決すること。この手法はすべてのエッジが同等に発生し得ると仮定しており、ハブノードを有するネットワークでは性能が劣る。
• ハブノードを明示的にモデル化する一般化された凸フレームワークを開発すること。これには、行と列の重複ノルム正則化項を用いて、一部のノード（ハブ）が多数の接続を持つが、他のノードはスパースであるようなスパースパターンを促進する。
• ガウスグラフィカルモデル、共分散グラフモデル、およびバイナリーアイジングモデルの3つの広く用いられるグラフィカルモデルにこのフレームワークを拡張すること。
• 結果として得られる凸最適化問題を解くための効率的なアルゴリズム的ソリューションを提供すること。このソリューションは、交替方向乗数法（ADMM）を用いる。

提案手法

• 本手法は、グラフィカルモデル推定問題に行と列の重複ノルム正則化項を導入し、特定のノード（ハブ）が多数の接続を持つが、他のノードはスパースであるようなスパースパターンを促進する。
• ガウス、共分散、およびアイジングの3つのモデルそれぞれについて、重複ノルム正則化項を含む凸計画問題として最適化問題を定式化し、ハブの検出を可能にする。
• 得られた凸最適化問題を解くためにADMMアルゴリズムを用いる。変数分割と双対上昇を用いて、問題を部分問題に分解し、反復的に解く。
• バイナリーアイジングモデルの場合、精度行列 $Θ$ を更新するADMMの部分問題は、ステップサイズを適応的に調整する準ニュートン勾配降下法であるバジライ＝ボーベイン法を用いて解かれる。
• 計算効率を向上させるために一部の状況ではブロック対角構造の仮定を導入しているが、主な結果はこの仮定を含まない状況でも示されている。
• 本手法はスケーラブルであり、標準のラップトップでも $p=300$ に対して数分以内の実行時間で動作し、反復値の相対的変化を用いて収束をモニタリングしている。

実験結果

リサーチクエスチョン

• RQ1 ハブノードを明示的にモデル化する凸最適化フレームワークは、標準的な $λ_1$-正則化手法と比較して、高次元設定下でのグラフィカルモデル推定を改善できるか？
• RQ2 行と列の重複ノルム正則化項は、遺伝子調節ネットワークやウェブページネットワークなどの実世界のネットワークにおけるハブ構造をどれほど的確に捉えられるか？
• RQ3 提案手法は、高次元サンプリング下で、ガウス、共分散、およびアイジングモデルの異なるタイプのグラフィカルモデルにおいて、推定精度を維持または向上できるか？
• RQ4 ADMMに基づくアルゴリズムは、大規模な $p$ に対して収束速度と計算スケーラビリティの観点でどれほど効率的か？
• RQ5 遺伝子調節ネットワークで観察されるような、数個の遺伝子が何百もの他の遺伝子を調節するようなスーパーアイツ（super-hub）構造を検出できるか？

主な発見

• 合成データにおいて、本稿で提案するハブ正則化手法は、特にハブノードが存在する状況では、標準的な $λ_1$-正則化手法と比較して、真正陽性率およびROC曲線下の面積（AUC）において顕著に優れた性能を示した。
• ウェブページデータセットにおいて、本手法は既知の高頻度接続ウェブページを、推定ネットワーク内の中心的ノードとして的確に回復した。
• 遺伝子発現データセットにおいて、本手法は既知のスーパーアイツ遺伝子（例：何百もの下遊遺伝子を調節する遺伝子）を検出しており、生物学的妥当性を裏付けた。
• ADMMアルゴリズムは効率的に収束し、ブロック対角構造の仮定なしでも $p=300$ に対して数分以内の実行時間で動作し、スケーラビリティを示した。
• アイジングモデルの部分問題における $Θ$ の更新に用いられるバジライ＝ボーベイン法は、安定した収束を示し、反復値の相対的変化がしきい値未満に下がった時点でアルゴリズムが終了した。