[論文レビュー] Learning Scale-Free Networks by Dynamic Node-Specific Degree Prior

Qingming Tang, Siqi Sun+1 more|arXiv (Cornell University)|Mar 7, 2015

Face and Expression Recognition参考文献 19被引用数 13

ひとこと要約

本稿では、ノード次数推定とエッジ強度ランク付けをガウス graphical モデル (GGM) フレームワークに統合することで、スケールフリーネットワークの学習に向けた動的ノード固有次数事前分布を提案する。独創的な ADMM に基づく最適化により、$l_1$-ペナルティ付き GGM やハブ誘導事前分布、再重み付け $l_1$ と比較して、特に実際の遺伝子発現データにおいて、エッジ予測精度を顕著に向上させるとともに、パワー則次数分布を維持する。

ABSTRACT

Learning the network structure underlying data is an important problem in machine learning. This paper introduces a novel prior to study the inference of scale-free networks, which are widely used to model social and biological networks. The prior not only favors a desirable global node degree distribution, but also takes into consideration the relative strength of all the possible edges adjacent to the same node and the estimated degree of each individual node. To fulfill this, ranking is incorporated into the prior, which makes the problem challenging to solve. We employ an ADMM (alternating direction method of multipliers) framework to solve the Gaussian Graphical model regularized by this prior. Our experiments on both synthetic and real data show that our prior not only yields a scale-free network, but also produces many more correctly predicted edges than the others such as the scale-free inducing prior, the hub-inducing prior and the $l_1$ norm.

研究の動機と目的

• 標準の $l_1$-ペナルティ付きガウス graphical モデルが一様なエッジ尤度を仮定し、スケールフリーネットワーク構造を捉えられないとする限界に対処すること。
• グローバルなパワー則次数分布と、相対的エッジ強度認識を伴った個々のノード次数推定を促進する次数事前分布を開発すること。
• エッジ重みのランク付けに基づく推定を用いてノード次数を動的にモデル化し、現実世界のネットワークにおけるハブ行動をよりよく反映すること。
• 動的次数推定とランク付け制約から生じる非凸で困難な最適化問題を、独創的な ADMM アルゴリズムで解くこと。
• 合成スケールフリーネットワークと実世界の生物学的ネットワーク、特に DREAM5 チャレンジデータセットを用いて手法を検証すること。

提案手法

• ノード次数の推定値と相対的エッジ強度ランクを組み合わせたノード固有の次数事前分布を提案し、ネットワーク構造学習をガイドする。
• 絶対的エッジ重み $|X_{i,(u)}|$ の順列を用いて、エッジ重みのランク付けに基づくノード次数の動的推定を実装し、相対的連結強度を反映する。
• ランク付けされたエッジの大きさに依存するノード固有の次数事前分布を組み込んだ、負の対数尤度と組み合わせた新しい目的関数を導入する。
• 動的次数推定とランク付け制約から生じる非凸最適化問題を解くために、カスタム ADMM 手順を採用する。
• グラフ構造が精度行列 $X$ のゼロパターンに符号化されるガウス graphical モデルフレームワーク内で手法を適用する。
• サブモジュラス次数関数の近似として Lovász の拡張を用い、グローバル次数分布制約の凸緩和を可能にする。

実験結果

リサーチクエスチョン

• RQ1 動的でノード固有の次数事前分布は、静的またはグローバル事前分布を上回るスケールフリーネットワーク推定を可能にするか？
• RQ2 ノードごとの相対的エッジ強度ランク付けを組み込むことで、ネットワーク構造回復の精度はどのように向上するか？
• RQ3 動的ランク付けを伴う非凸最適化問題は、独創的な ADMM フレームワークを用いて効果的に解けるか？
• RQ4 提案手法は、実際の生物学的ネットワークにおける真のエッジ予測において、標準の $l_1$-ペナルティ付き GGM やハブ誘導事前分布を上回るか？
• RQ5 推定されたネットワークは、合成的および現実世界の設定において、パワー則次数分布をどの程度維持するか？

主な発見

• DREAM5 データセット3（4511遺伝子、3902本の真のエッジ）において、提案手法の DNS は Glasso や RW などのベースラインと比較して、特にエッジ数が多い状況で顕著に高いエッジ予測精度を達成した。
• 4000本のエッジを生成する制約下で、DNS が推定したネットワークの次数分布は真のスケールフリーパワー則パターンに近く、Glasso はこの分布を維持できなかった。
• DREAM5 データセット4（5950遺伝子、3940本の真のエッジ）において、約19,000本のエッジを予測する状況で、DNS は Glasso より約2倍の正しいエッジ数（18 vs. 9）を予測したが、全体的な性能は各手法で低かった。
• ハブネットワークのシミュレーションでは、ネットワークが厳密にスケールフリーでないにもかかわらず、DNS はすべてのベースラインを上回る正しく予測されたエッジ数を達成し、非理想的な次数分布に対しても頑健であることを示した。
• 対数-対数次数分布プロットから、DNS と RW はパワー則行動を示す一方、Gloss は示さなかったため、本手法がスケールフリー構造を誘導できることを検証した。
• 動的ランク付けに基づく次数事前分布は、ハブノードのより正確な表現をもたらしたことが、1643ノードのネットワークの可視化から明らかになった。