[論文レビュー] Learning non-Gaussian graphical models via Hessian scores and triangular transport

Ricardo Baptista, Youssef Marzouk+2 more|arXiv (Cornell University)|Jan 8, 2021

Bayesian Modeling and Causal Inference参考文献 64被引用数 1

ひとこと要約

本稿では、連続的かつ非ガウス型のグラフィカルモデルのマーコフ構造を学習するための新規アルゴリズム、sing を提案する。この手法は、連合対数密度と三角型トランスポート写像からのヘッセ行列に基づくスコアを活用する。確率的でないトランスポート写像による結合を用いて密度推定を行い、写像内のスパarsityを活用することで、偏った密度近似に対しても真のグラフ構造を回復できる。非ガウス型およびカオス的力学系のデータにおいて、一貫した構造回復が示された。

ABSTRACT

Undirected probabilistic graphical models represent the conditional dependencies, or Markov properties, of a collection of random variables. Knowing the sparsity of such a graphical model is valuable for modeling multivariate distributions and for efficiently performing inference. While the problem of learning graph structure from data has been studied extensively for certain parametric families of distributions, most existing methods fail to consistently recover the graph structure for non-Gaussian data. Here we propose an algorithm for learning the Markov structure of continuous and non-Gaussian distributions. To characterize conditional independence, we introduce a score based on integrated Hessian information from the joint log-density, and we prove that this score upper bounds the conditional mutual information for a general class of distributions. To compute the score, our algorithm SING estimates the density using a deterministic coupling, induced by a triangular transport map, and iteratively exploits sparse structure in the map to reveal sparsity in the graph. For certain non-Gaussian datasets, we show that our algorithm recovers the graph structure even with a biased approximation to the density. Among other examples, we apply SING to learn the dependencies between the states of a chaotic dynamical system with local interactions.

研究の動機と目的

• 連続的かつ非ガウス型のグラフィカルモデルに対する一貫性のある構造学習手法の不足に応えること。
• 一般の非ガウス分布に対して条件付き相互情報量を上界付ける統合ヘッセ情報に基づくスコアの開発。
• データを標準ガウス分布に確率的でない方法で結合するトランスポート写像のスパarsityを活用し、スパースなグラフ構造の回復を可能にすること。
• 非ガウス型設定において、密度推定が偏っていても一貫性を保つことの確認。
• 局所的相互作用を示すカオス的力学系のような実世界の問題への応用。

提案手法

• 連合対数密度の二乗ヘッセ行列の統合に基づくヘッセ行列スコアを提案し、これは条件付き相互情報量を上界付ける。
• 三角型トランスポート写像を用いて、データ分布と標準ガウス分布を確率的でない方法で結合し、モンテカルロサンプリングを用いずに密度推定を可能にする。
• スパarsity促進正則化を用いた多項式クラウド展開によりトランスポート写像を推定し、構造的スパarsityを明らかにする。
• Hessianスコア推定値にしきい値処理を施し、統計的推論のために漸近的標準誤差を用いる。
• 座標降下に類似したアルゴリズムを用いて、写像のヘッセ行列のスパarsityを活用し、反復的にトランスポート写像とグラフ構造を最適化する。
• エッジ集合回復における漸近的一貫性を保証するため、変数ペアの和集合を用いる。

実験結果

リサーチクエスチョン

• RQ1 ヘッセ行列に基づくスコアは、非ガウス分布において条件付き独立性を一貫して推定できるか？
• RQ2 スパース構造を持つ三角型トランスポート写像は、非ガウス型データの背後にあるグラフのスパarsityを明らかにできるか？
• RQ3 密度推定が偏っていても、この手法は一貫性を保つか？
• RQ4 局所的相互作用を示すカオス的力学系において、アルゴリズムは真のグラフ構造を回復できるか？
• RQ5 非ガウス型データにおいて、従来の手法と比較して、本手法のロバストネスと精度はどの程度か？

主な発見

• 提案されたヘッセ行列スコアは、一般の非ガウス型分布クラスにおいて条件付き相互情報量を上界付けることができ、構造学習の有効なスコアを提供する。
• アルゴリズムはエッジ集合回復において漸近的一貫性を達成する：標本サイズが増加するにつれて、真のグラフを回復できない確率はゼロに近づく。
• 偏った密度近似に対しても、非ガウス型データセットにおいてグラフ構造を正確に回復でき、ロバストネスを示した。
• 局所的相互作用を示すカオス的力学系において、sing は有限標本から真の依存構造を正確に回復できた。
• メモリ使用量は次元と多項式次数に比例するが、管理可能であり、d=12 および β=2 の場合、初回イテレーションでのメモリ使用量は100 MB未満であった。
• 理論的解析により、正則性条件の下で偽陽性および偽陰性の割合がゼロに収束することが確認され、一貫性のある構造学習が保証された。