[論文レビュー] Learning Mixed Graphical Models

Jason D. Lee, Trevor Hastie|arXiv (Cornell University)|May 22, 2012

Machine Learning and Data Classification参考文献 30被引用数 15

ひとこと要約

本稿では、構造学習に対称的グループリッジペナルティを用いて連続変数と離散変数を統合する、新しいペairワイズグラフィカルモデルを提案する。条件付き分布をガウス線形回帰と多クラスロジスティック回帰としてモデル化することで、ガウスグラフィカルモデルと離散マルコフ確率場を一般化し、擬似尤度を用いた連合推定により、最尤推定よりも有限標本性能が向上する。

ABSTRACT

We consider the problem of learning the structure of a pairwise graphical model over continuous and discrete variables. We present a new pairwise model for graphical models with both continuous and discrete variables that is amenable to structure learning. In previous work, authors have considered structure learning of Gaussian graphical models and structure learning of discrete models. Our approach is a natural generalization of these two lines of work to the mixed case. The penalization scheme involves a novel symmetric use of the group-lasso norm and follows naturally from a particular parametrization of the model.

研究の動機と目的

• 連続変数と離散変数を併用するグラフィカルモデルの学習のための統一的フレームワークの欠如に対処すること。
• 純粋に連続（ガウスグラフィカルモデル）および純粋に離散（マルコフ確率場）な設定におけるスパース構造学習の既存手法を一般化すること。
• 混合変数グラフィカルモデルにおけるパラメータ推定と構造学習を、計算的に実行可能にする手法を開発すること。
• スカラー、ベクトル、行列といった異種のパラメータブロック間で公平なペナルティを与えるために、キャリブレーションされたグループリッジスキームを確保すること。
• 有限標本領域における擬似尤度と最尤推定、および分離回帰手法の性能を評価すること。

提案手法

• 条件付き分布にガウス線形回帰と多クラスロジスティック回帰の成分を組み合わせた、ペアワイズマルコフ確率場の同時密度を提案する。
• エッジタイプごとにグループ化されたパラメータ（連続-連続、連続-離散、離散-離散）を用いてモデルをパラメータ化する。
• パラメータブロック（スカラー、ベクトル、行列）に対称的グループリッジペナルティを適用し、グラフィカル構造のスパarsityを誘導する。
• 異なるサイズのパラメータブロックに対して公平にペナルティを与えるために、キャリブレーションされた重み付けスキームを導入する。
• 完全尤度の代わりに、ノードごとの回帰を用いた効率的な最適化を可能にする、計算可能な代替手段として擬似尤度を用いる。
• 混合出力を持つ多変量応答回帰のための条件付きランダムフィールドモデルへのフレームワークの拡張。

実験結果

リサーチクエスチョン

• RQ1 連続変数と離散変数の混合に対して、ガウスグラフィカルモデルと離散ペアワイズマルコフ確率場の両方を一般化する統一的グラフィカルモデルを構築可能か？
• RQ2 混合変数モデルにおける異種のパラメータブロック（スカラー、ベクトル、行列）に、対称的かつ公平にスパース誘導正則化を適用する方法は何か？
• RQ3 提案モデルにおける擬似尤度推定は、有限標本領域で最尤推定および分離回帰を上回る性能を示すか？
• RQ4 生成的モデルと条件付きモデル（一部の変数を特徴量として扱う）の性能は、どのように比較されるか？
• RQ5 モデルのキャリブレーションと正則化は、混合変数設定における構造学習の正確性にどのような影響を与えるか？

主な発見

• 提案モデルはガウスグラフィカルモデルと離散ペアワイズマルコフ確率場の両方を一般化し、それぞれの特殊ケースに還元される。
• 有限標本領域において、擬似尤度推定は、グローバルな正則化効果により、最尤推定を上回る性能を示す。特に小標本サイズで顕著である。
• 擬似尤度アプローチは、小標本サイズで特に顕著に、分離回帰モデルと同等またはそれ以上の性能を発揮し、同時に完全な連合分布推論を可能にする。
• キャリブレーションされたグループリッジペナルティは、サイズが異なるパラメータブロック間で公平なペナルティを保証し、構造学習の一貫性を向上させる。
• 予測性能の観点では、非常に小標本サイズを除き、条件付きモデルが完全な生成的モデルを上回る。しかし、非常に小標本では生成的モデルがより速く収束する。
• 人口統計データと合成実験の実証的結果から、提案手法が有限標本安定性を向上させつつ、正確な構造学習を達成することが確認された。