[論文レビュー] Square Root Graphical Models: Multivariate Generalizations of Univariate Exponential Families that Permit Positive Dependencies

David I. Inouye, Pradeep Ravikumar+1 more|arXiv (Cornell University)|Mar 11, 2016

Bayesian Modeling and Causal Inference参考文献 19被引用数 5

ひとこと要約

本稿では、正の依存関係と負の依存関係の両方を許容する、多次元指数型分布族の新規クラスである平方根グラフィカルモデル（SQR）を導入する。従来のモデルが負の依存関係に制限されていたのに対し、SQRは一変量指数型分布族（例：指数分布、ポアソン分布）を一般化し、空港遅延などの現実世界のデータを柔軟にモデル化できる。この手法は、やや弱い正定値性に類する条件を満たすパラメータ行列を用いることで、合成データおよび実データにおいて直感的で正の依存関係を的確に捉えることに成功している。

ABSTRACT

We develop Square Root Graphical Models (SQR), a novel class of parametric graphical models that provides multivariate generalizations of univariate exponential family distributions. Previous multivariate graphical models [Yang et al. 2015] did not allow positive dependencies for the exponential and Poisson generalizations. However, in many real-world datasets, variables clearly have positive dependencies. For example, the airport delay time in New York---modeled as an exponential distribution---is positively related to the delay time in Boston. With this motivation, we give an example of our model class derived from the univariate exponential distribution that allows for almost arbitrary positive and negative dependencies with only a mild condition on the parameter matrix---a condition akin to the positive definiteness of the Gaussian covariance matrix. Our Poisson generalization allows for both positive and negative dependencies without any constraints on the parameter values. We also develop parameter estimation methods using node-wise regressions with $\ell_1$ regularization and likelihood approximation methods using sampling. Finally, we demonstrate our exponential generalization on a synthetic dataset and a real-world dataset of airport delay times.

研究の動機と目的

• 従来の多次元指数型分布族のグラフィカルモデルが正の依存関係を扱えないという制限を解消すること。特に指数分布やポアソン分布において顕著である。
• 一変量指数型分布族（例：指数分布、ポアソン分布）を多次元設定に拡張する一般化されたパrametric枠組みを構築し、パラメータ行列に最小限の制約を課すこと。
• 遅延時間、カウントデータ、生存時間など、非ガウス分布・非離散的データを、正の依存関係と負の依存関係の両方を含めて同時にモデル化できること。
• グローバルマークフプロパティを保ちつつ、効率的なパラメータ推定と尤度近似が可能な、原理的で確率論的根拠に基づくモデルを提供すること。
• 高次元で非ガウス分布のデータにおいて、恣意的な修正なしに、直感的で現実世界の依存関係を回復できることを示すこと。

提案手法

• 非負の十分統計量を持つ一変量指数型分布族に基づく、新しい多次元分布族を提案。非負性と柔軟性を保証するため、平方根パラメータ化を用いる。
• パラメータ行列Φを用いて同時密度を定義し、ガウスモデルにおける分散共分散行列を一般化する。有効な分布を保証するため、やや弱い正定値性に類する条件を満たす。
• 指数SQRモデルでは、パラメータ行列Φに正負の要素を許容でき、ガウスグラフィカルモデルにおける正定値性に類する条件に従う。
• ポアソンSQRモデルでは、パラメータ値に制約を課さず、任意の正負の依存関係を許容できる。
• ノード単位の回帰にℓ₁正則化を適用し、高次元におけるグラフィカル構造の回復を可能にし、理論的保証を得る。
• 尤度近似法を考案し、サンプリングを用いて指数分布およびポアソンSQRモデルにおける計算不能な正規化定数を扱う。

実験結果

リサーチクエスチョン

• RQ1 一変量指数型分布族の多次元一般化として、従来のモデルが負の依存関係に制限されていたのに対し、正の依存関係も許容できるモデルを構築できるか？
• RQ2 このような多次元指数型分布族モデルにおいて、有効な確率分布を保証するために必要な・十分なパラメータ行列の構造的制約は何か？
• RQ3 提案されたモデルは、空港遅延時間や単語共起パターンのような現実世界の依存関係を効果的に捉えることができるか？
• RQ4 尤度と構造回復の観点から、SQRモデルは独立モデルや従来の制限付きモデルと比較してどのように性能を発揮するか？
• RQ5 ノード単位のℓ₁正則化回帰によるパラメータ推定は、高次元設定において真のグラフィカル構造を信頼性高く回復できるか？

主な発見

• 空港遅延データにおいて、指数SQRモデルは独立な指数モデルよりも相対尤度で顕著に優れている。これは強い依存構造を捉えていることを示唆する。
• SQRモデルは、シカゴとニューヨークの気象関連遅延の間の直感的で正の依存関係を、外部の場所情報なしに的確に捉えている。
• モデルは、地理的・運用的依存関係（例：DFW-IAH、西海岸間リンク）を、特徴量なしに依存パターンから純粋に同定しており、特徴量フリーな学習の強靭性を示している。
• ポアソンSQRモデルでは、パラメータに制約を課さず、任意の正負の依存関係を許容できる。これは、従来のモデルがハイパーパrameterを必要としたり、基本分布を変更する必要があったのとは対照的である。
• SQRを用いたノード単位のℓ₁正則化回帰は、合成の円環グラフにおいて高いエッジ適合度を達成し、十分なサンプル数があれば、大きなkに対してもエッジを回復している。
• SQRフレームワークにより、非ガウス分布データに対して有効な完全な確率モデルを構築可能となり、従来のモデルが依存関係を負のものに制限するか、恣意的な調整を要するという限界を克服した。