[論文レビュー] A Convex Formulation for Learning Scale-Free Networks via Submodular Relaxation

Aaron Defazio, Tibério S. Caetano|arXiv (Cornell University)|Jul 10, 2014

Statistical Methods and Inference参考文献 19被引用数 23

ひとこと要約

本稿では、次数分布をモデル化するために完全単調関数を活用し、Lovász拡張を用いた凸緩和により、スケールフリーネットワークの学習のための凸最適化フレームワークを提案する。従来の非凸手法と比較して、合成データおよび実際の生物学的データにおいて、スケールフリーネットワークの再構築精度が向上している。

ABSTRACT

A key problem in statistics and machine learning is the determination of network structure from data. We consider the case where the structure of the graph to be reconstructed is known to be scale-free. We show that in such cases it is natural to formulate structured sparsity inducing priors using submodular functions, and we use their Lovász extension to obtain a convex relaxation. For tractable classes such as Gaussian graphical models, this leads to a convex optimization problem that can be efficiently solved. We show that our method results in an improvement in the accuracy of reconstructed networks for synthetic data. We also show how our prior encourages scale-free reconstructions on a bioinfomatics dataset.

研究の動機と目的

• データからスケールフリーネットワーク構造を学ぶ課題に取り組むこと、特にスパarsityと既知のトポロジー的性質（例えば、パワー則次数分布）が重要な場合を想定する。
• ガウス graphical モデルにおいて特に有効な、スケールフリートポロジーを明示的に促進する構造的スパarsity事前分布を開発すること。
• 非凸な完全単調事前分布のための効率的な最適化を可能にする、凸緩和を提供すること。
• 提案手法が、合成データおよび実世界のデータの両方において、従来の非凸アプローチを上回ってスケールフリーネットワークを再構築できることを示すこと。

提案手法

• 次数分布から導出された完全単調関数を用いて、ネットワーク構造に対する事前分布を定式化し、自然なスケールフリープロパティのモデル化を保証する。
• 非凸な完全単調事前分布を凸の代理に緩和するために、Lovász拡張を適用する。
• 非微分可能で完全単調な正則化子を伴う凸最適化問題を解くために、近接法（特に双対分解）を用いる。
• 凸事前分布を用いた最大事後確率（MAP）推定により、データからスパースでスケールフリーな graphical モデルを学習する。
• 高次元データ（例えば、遺伝子発現ネットワークなど）に適した、スパース共分散選択フレームワークに本手法を統合する。
• 正則化強度をチューニングし、近接作用素を用いて、学習されたグラフにおけるスパarsityとスケールフリー構造のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 完全単調関数を用いて、凸最適化が可能な方法でスケールフリーネットワークの次数分布をモデル化できるか？
• RQ2 Lovász拡張による凸緩和は、非凸定式化と比較して、スケールフリーネットワーク回復の精度と収束性においてどのように異なるか？
• RQ3 標準的なL1正則化共分散選択と比較して、本手法は合成スケールフリーネットワークの再構築精度を向上させるか？
• RQ4 本手法は、遺伝子共発現ネットワークなどの実際の生物学的ネットワークにおいて、スケールフリートポロジーを効果的に回復できるか？
• RQ5 完全単調正則化を伴う、凸で微分不能な問題を解くために最も効率的な最適化手法は何か？

主な発見

• 提案された凸定式化は、従来の非凸手法と比較して、合成データにおけるスケールフリーネットワークの再構築精度がより高いことを示した。
• GDS1429遺伝子発現データセットにおいて、本手法はL1法とは異なり、より明確なハブ構造（例：遺伝子60）を示すネットワークを生成した。
• 近接作用素の計算に用いられた双対分解法は、勾配降下法や最小ノルム点（MNP）アルゴリズムと比較して、著しく高速に収束した。
• 100ノードのBAモデルにおいて、本手法は1回の実行あたり5.0秒で実行されたが、再重み付けL1法は16秒を要した。精度は同等であり、本手法の優れた効率性が示された。
• 標準L1法はより高速（0.72秒）であったが、再構築精度は低く、速度とトポロジカル忠実性のトレードオフが顕著に現れた。
• 実際の生物学的データにおいて、本手法は視覚的検査を通じて、スケールフリー次数分布を効果的に促進したことが確認された。