[論文レビュー] On Graphical Models via Univariate Exponential Family Distributions

Eunho Yang, Pradeep Ravikumar+2 more|arXiv (Cornell University)|Jan 17, 2013

Bayesian Methods and Mixture Models参考文献 44被引用数 65

ひとこと要約

本稿では、ノードごとの条件付き分布を一変量指数型分布族（例：ポアソン分布、指数分布）から抽出する一般化された無向グラフィカルモデル—指数型マルコフ確率場（exponential family Markov random fields）—を提案する。これにより、非ガウス分布のデータの柔軟なモデリングが可能になる。また、$\hat{\lambda}$-正則化された近隣選択を用いたM推定量を導入し、スパarsityとサブガウス型設計の仮定の下で、真のグラフィカル構造の高確率での正確回復を証明する。

ABSTRACT

Undirected graphical models, or Markov networks, are a popular class of statistical models, used in a wide variety of applications. Popular instances of this class include Gaussian graphical models and Ising models. In many settings, however, it might not be clear which subclass of graphical models to use, particularly for non-Gaussian and non-categorical data. In this paper, we consider a general sub-class of graphical models where the node-wise conditional distributions arise from exponential families. This allows us to derive multivariate graphical model distributions from univariate exponential family distributions, such as the Poisson, negative binomial, and exponential distributions. Our key contributions include a class of M-estimators to fit these graphical model distributions; and rigorous statistical analysis showing that these M-estimators recover the true graphical model structure exactly, with high probability. We provide examples of genomic and proteomic networks learned via instances of our class of graphical models derived from Poisson and exponential distributions.

研究の動機と目的

• 度数や歪度のある連続変数などの非ガウス的・非カテゴリカルなデータに対する原理的かつ柔軟なグラフィカルモデルの欠如に対処すること。
• 一変量指数型分布族の条件付き分布から多変量分布を導出することで、既存のイジングモデルやガウスグラフィカルモデルを拡張すること。
• 指数型分布を用いたノード単位の条件付き推定によるグラフィカルモデルの適合の一般枠組みを構築すること。
• 高次元設定における$\lambda$-正則化M推定量を用いた構造回復の厳密な統計的保証を確立すること。
• ポアソン分布および指数分布のグラフィカルモデルに対して適切なパラメータ制約を含む具体的な最適化定式化を提供すること。

提案手法

• 一変量指数型分布族のノード条件付き分布に基づいて多変量グラフィカルモデルのクラスを提案し、ハマーслиー＝クライフォードの定理を用いてグローバルマークフ・性質を保証する。
• すべての他のノードが与えられたもとで、各ノードのスパースな条件付き依存関係を推定するために、$\lambda$-ペナルティ付き対数尤度最大化による近隣選択を用いる。
• 分野固有の制約をパラメータに課す：ポアソンモデルでは非正の重み、指数モデルでは非負の重みを課し、有効なMRFを保証する。
• 滑らかで凸でないが線形制約を伴う最適化問題を解くために、投影勾配降下法を用い、グローバル収束を保証する。
• 平均値の定理と集中不等式を用いて推定誤差を抑え、高確率的回復保証を導出する。
• サブガウス型設計の仮定と対数正規化関数の3階微分の滑らかさを用いて、推定誤差の理論的境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 一変量指数型分布族の分布から、非ガウス分布のデータをモデリングできる一般化された多変量グラフィカルモデルのクラスを構築できるか？
• RQ2 得られたMRFが有効であり、グラフ構造に従って因子分解されるようにできるか？
• RQ3 スパースで高次元の構造学習を理論的保証とともに可能にする最適化戦略は何か？
• RQ4 どのような条件下で真のグラフィカル構造が高確率で正確に回復できるか？
• RQ5 パラメータ制約（例：ポアソンモデルでは非正）がモデルの有効性と推定に与える影響は何か？

主な発見

• 提案された指数型MRFフレームワークは、イジングモデルやガウスモデルを一般化し、ポアソン分布、指数分布、その他の非ガウス分布を含む。
• スパarsityとサブガウス型設計の仮定の下で、$\lambda$-正則化近隣選択に基づくM推定量は、真のグラフィカル構造を高確率で正確に回復する。
• ポアソングラフィカルモデルでは非正のエッジ重みが必要であり、指数モデルでは非負の重みを課すことで、有効なMRFが保証される。
• 適切な正則性条件の下で、推定誤差は高確率で$O(\kappa_3(n,p) \rho_{\text{max}} \log p' / n)$に有界であることが理論的に示された。
• 最適化問題は凹関数であり、滑らかな尤度関数と線形制約を伴い、投影勾配降下法によりグローバル収束が保証される。
• ゲノムおよびプロテオムネットワークにおける実験的検証により、度数データや正の連続データからスパースで解釈可能なネットワークを学習する手法の有効性が示された。