[論文レビュー] Generalized Stability Approach for Regularized Graphical Models

Christian L. Müller, Richard Bonneau+1 more|arXiv (Cornell University)|May 23, 2016

Advanced Mathematical Modeling in Engineering参考文献 21被引用数 23

ひとこと要約

本稿では、ポアソン＝二項分布の性質を用いて正則化パスに対する確率的境界を導出し、グラフレットレベルの安定性を導入することで、StARS手法を加速・一般化した一般化安定性アプローチ（G-StARS）を提案する。この手法により、標準的なハードウェア上でも効率的かつ高性能なガウス graphical モデル選択が可能となり、エッジと部分グラフの安定性を統合することにより、多様なグラフトポロジーにおいて優れた回復精度を達成する。

ABSTRACT

Selecting regularization parameters in penalized high-dimensional graphical models in a principled, data-driven, and computationally efficient manner continues to be one of the key challenges in high-dimensional statistics. We present substantial computational gains and conceptual generalizations of the Stability Approach to Regularization Selection (StARS), a state-of-the-art graphical model selection scheme. Using properties of the Poisson-Binomial distribution and convex non-asymptotic distributional modeling we propose lower and upper bounds on the StARS graph regularization path which results in greatly reduced computational cost without compromising regularization selection. We also generalize the StARS criterion from single edge to induced subgraph (graphlet) stability. We show that simultaneously requiring edge and graphlet stability leads to superior graph recovery performance independent of graph topology. These novel insights render Gaussian graphical model selection a routine task on standard multi-core computers.

研究の動機と目的

• 高次元 graphical モデルにおける StARS に基づく正則化選択の高い計算コストとパrameter選択への感受性を解消すること。
• スパースガウス graphical モデルにおける最適正則化パラメータをデータ駆動的かつ計算的に効率的に選択する手法を開発すること。
• StARS におけるエッジレベルの安定性を、より一般化した部分グラフ（グラフレット）レベルの安定性へと拡張し、グラフ回復性能を向上させること。
• 高スケールの graphical モデル推論を、精度を損なわずに標準的なマルチコアシステム上で実現すること。
• 実世界の応用、例えばマイクロバイオームネットワーク推論に向けた実用的でオープンソースの実装を提供すること。

提案手法

• 最小でも N=2 個のサブサンプルから、ポアソン＝二項分布の凸的非漸近的モデリングを用いて正則化パスの下限（λ_lb）と上限（λ_ub）を導出する。
• これらの境界を用いて、計算的に高価な正則化パスの下部領域の探索を排除しつつ、選択品質を維持する。
• サブサンプルされたグラフ間での小さな部分グラフの変動を測定するための、新しいグラフレット安定性指標（Graphlet Correlation Distance: GCD）を導入する。
• StARS 由来のエッジ安定性とグラフレット安定性を同時に強制することで、トポロジカルに一貫性があり、頑健なグラフを生成する正則化パラメータを同定する。
• R や MATLAB における並列計算を活用して、腸内マイクロバイオームネットワークなど大規模データセットへのスケーリングを実現する。
• 正則化パラメータ選択に一般化安定性基準（G-StARS）を適用し、グラフレットの変動を最小化することで、安定したトポロジカル構造を示す。

実験結果

リサーチクエスチョン

• RQ1 StARS に基づく正則化選択の計算コストを、パラメータ選択の正確性を損なわずに低減できるか？
• RQ2 エッジレベルの安定性に加えて、グラフレットレベルの安定性を組み込むことで、エッジレベルの安定性のみに比べて、複雑なグラフトポロジーの回復性能がどのように向上するか？
• RQ3 最小限のサブサンプリングから正則化パスに対する確率的境界を導出できるか？
• RQ4 エッジ安定性とグラフレット安定性の併用は、多様なネットワーク構造にわたってより頑健かつ正確な graphical モデル選択をもたらすか？
• RQ5 G-StARS は、実世界の生物学的データに対して、標準的なマルチコアハードウェア上でも大規模な graphical モデル推論を可能にするか？

主な発見

• 提案された正則化パスの下限および上限は、密度の高いグラフ領域の無駄な探索を排除することで計算コストを削減し、選択品質に損失がない。
• オービットベースのグラフレット相関を用いたグラフレット安定性は、変動曲線に複数の局所最適解を明らかにし、トポロジカルに安定したグラフ構造の同定を可能にする。
• G-StARS におけるエッジとグラフレットの両方の安定性の併用は、ハブを有するネットワークやスケールフリー・ネットワークを含む、すべてのテスト対象のグラフトポロジーにおいて、優れたグラフ回復性能を達成する。
• 4000ノードの Erdős–Rényi グラフにおいて、QUIC を用いて顕著な高速化を達成し、ソリューション時間を数時間から数分に短縮したが、高い真正陽性率と低い偽陽性率を維持した。
• アメリカン・ガット・データセットにおいて、G-StARS は生物学的に妥当な Clostridiales–Bacteroidales 連関を多く含むネットワークを選択し、最近の実験的知見と整合的であった。
• 本手法により、これまでにない規模の腸内微生物生態連関ネットワークの推論が可能となり、実世界のデータにおけるスケーラビリティと実用的有用性を実証した。