[論文レビュー] Ising Models with Latent Conditional Gaussian Variables

Frank Nussbaum, Joachim Giesen|arXiv (Cornell University)|Jan 28, 2019

Bayesian Modeling and Causal Inference参考文献 22被引用数 4

ひとこと要約

本稿では、相互作用パラメータをスパースおよび低ランク成分に分解することにより、潜在的条件付きガウス変数を有するイジングモデルを学習するための凸最適化フレームワークを提案する。この手法は、スパarsityと低ランク構造を同時に促進する正則化尤度アプローチを用い、潜在変数が間接的相互作用を引き起こす高次元設定において一貫性のある推定を可能にする。

ABSTRACT

Ising models describe the joint probability distribution of a vector of binary feature variables. Typically, not all the variables interact with each other and one is interested in learning the presumably sparse network structure of the interacting variables. However, in the presence of latent variables, the conventional method of learning a sparse model might fail. This is because the latent variables induce indirect interactions of the observed variables. In the case of only a few latent conditional Gaussian variables these spurious interactions contribute an additional low-rank component to the interaction parameters of the observed Ising model. Therefore, we propose to learn a sparse + low-rank decomposition of the parameters of an Ising model using a convex regularized likelihood problem. We show that the same problem can be obtained as the dual of a maximum-entropy problem with a new type of relaxation, where the sample means collectively need to match the expected values only up to a given tolerance. The solution to the convex optimization problem has consistency properties in the high-dimensional setting, where the number of observed binary variables and the number of latent conditional Gaussian variables are allowed to grow with the number of training samples.

研究の動機と目的

• 観測されたバイナリ変数間の誤った間接的相互作用を引き起こす潜在的条件付きガウス変数が存在する場合に、標準的なスパースイジングモデル学習が失敗することへの対処。
• 観測されたイジングモデルの相互作用行列における誘導された相互作用を、低ランク成分としてモデル化すること。
• 相互作用パラメータにおけるスパarsityと低ランク構造を同時に促進する凸正則化尤度最適化問題の開発。
• 観測変数および潜在変数の数が標本サイズとともに増加する高次元的状況において、推定量の一貫性の確立。
• スペクトルノルム緩和を用いた最大エントロピー原理による二重解釈の提示により、情報理論的原則と結びつける。

提案手法

• 正定値性制約のもとで、双対変数 S（スパース）および L1−L2（低ランク）を用いた凸正則化対数尤度最大化問題として問題を定式化する。
• モーメントマッチング制約のスペクトルノルム緩和を用い、個々の許容誤差境界を集約的スペクトル許容誤差 λ に置き換える。
• 双対問題を、ℓ(S + L1 − L2) − c‖S‖₁ − λ·tr(L1 + L2) を最大化することとして導出する。ここで L1, L2 ⪰ 0 であり、ℓ は対数尤度関数である。
• 解を、直接相互作用を表すスパース成分と、潜在変数を介した間接的相互作用を表す低ランク成分に分離した相互作用行列の分解として解釈する。
• スパース＋低ランク分解が、緩和されたスペクトルノルム制約を伴う最大エントロピー問題と同等であることを確立し、原理的統計的基盤を提供する。
• マージナル条件付きガウスモデルを用いて、潜在変数と観測されたイジングパラメータとの関係を導出し、誘導された相互作用行列が低ランク構造を有することを示す。

実験結果

リサーチクエスチョン

• RQ1 スパース＋低ランク分解による凸最適化フレームワークは、イジングモデルにおいて少数の潜在的条件付きガウス変数が引き起こす間接的相互作用と直接的相互作用を効果的に分離できるか？
• RQ2 相互作用行列のスパース＋低ランク分解は、高次元的状況において一貫性のある推定をもたらすか？
• RQ3 モーメントマッチング制約のスペクトルノルム緩和は、双対正則化対数尤度問題とどのように関係するか？
• RQ4 低ランク成分の統計的解釈は、潜在変数に起因する依存関係をどのように説明するか？
• RQ5 提案手法は、新規の緩和タイプを用いた最大エントロピー問題の双対として導出可能か？

主な発見

• 本手法は、潜在的条件付きガウス変数に起因する間接的相互作用を、観測されたイジングモデルの相互作用行列における低ランク成分として効果的にモデル化できた。
• 提案された凸正則化尤度最適化問題は、観測バイナリ変数および潜在変数の数が標本サイズとともに増加する高次元的状況において、一貫性のある推定を達成した。
• 双対問題は、解がスパース＋低ランクの相互作用パラメータ分解に対応することを示し、低ランク部分はスペクトルノルム緩和に起因する。
• スペクトルノルム緩和は、正定値行列に対するトレースペナルティを伴う双対定式化をもたらし、解の低ランク構造を促進する。
• 本手法は、新規な緩和を用いた最大エントロピー原理に基づいており、情報理論的原則と結びつき、厳密なモーメントマッチングに代わる原理的代替手法を提供する。
• マージナル条件付きガウスモデルの導出により、誘導された相互作用行列が RᵀΛ⁻¹R の比例関係を有する低ランク構造を有することを確認し、低ランク仮定の妥当性を裏付けた。