[論文レビュー] Vector-Space Markov Random Fields via Exponential Families

Wesley Tansey, Oscar Hernán Madrid Padilla+2 more|arXiv (Cornell University)|May 19, 2015

Markov Chains and Monte Carlo Methods参考文献 12被引用数 9

ひとこと要約

この論文は、多項分布やディリクレ分布などの任意のベクトル空間に属する変数を許容する指数型分布族グラフィカルモデルの一般化であるベクトル空間マルコフ確率場（VS-MRFs）を紹介する。この手法は、ADMM最適化を用いたスパースグループラッソベースのM-最適化推定量を採用しており、スパースistentな構造学習を達成し、合成データおよびMyFitnessPalの実世界の食品データから真のグラフィカル構造を的確に回復する。

ABSTRACT

We present Vector-Space Markov Random Fields (VS-MRFs), a novel class of undirected graphical models where each variable can belong to an arbitrary vector space. VS-MRFs generalize a recent line of work on scalar-valued, uni-parameter exponential family and mixed graphical models, thereby greatly broadening the class of exponential families available (e.g., allowing multinomial and Dirichlet distributions). Specifically, VS-MRFs are the joint graphical model distributions where the node-conditional distributions belong to generic exponential families with general vector space domains. We also present a sparsistent $M$-estimator for learning our class of MRFs that recovers the correct set of edges with high probability. We validate our approach via a set of synthetic data experiments as well as a real-world case study of over four million foods from the popular diet tracking app MyFitnessPal. Our results demonstrate that our algorithm performs well empirically and that VS-MRFs are capable of capturing and highlighting interesting structure in complex, real-world data. All code for our algorithm is open source and publicly available.

研究の動機と目的

• 既存の混合グラフィカルモデルを、スカラーかつ一パrameterの指数型分布族を超えて、多パラメータで多変数の分布（例：多項分布やディリクレ分布）を扱えるように拡張すること。
• ノードの条件付き分布が一般の指数型分布族に属し、一般のベクトル空間を定義域とする、整合的な統合的グラフィカルモデルフレームワークを構築すること。
• 高次元のベクトル空間MRFにおける潜在的なグラフィカル構造を学習するためのスケーラブルでスパースistentなM-最適化推定量を設計すること。
• 合成データおよびMyFitnessPalの400万件を超える食品データからなる実世界データセットを用いて、本手法の妥当性を検証し、意味のある構造を同定できることを示すこと。

提案手法

• 任意のベクトル空間における一般の指数型分布族からのノードの条件付き分布と整合的な、統合的分布としてのベクトル空間MRF（VS-MRFs）を提唱する。
• スカラーや一パラメータモデルの一般化として、ハマークリー＝クライフォードに類似した解析を実施し、ベクトル空間における条件付き分布から統合分布を導出する。
• グラフィカルモデル構造におけるスパarsityを促進するため、スパースグループラッソ正則化を用いたM-最適化推定量を導入する。
• M-最適化問題を効率的かつスケーラブルに解くために、ADMMに基づく最適化アルゴリズムを採用する。
• やや弱い正則性条件および相互不整合性仮定の下で、厳密な双対妥当性と近傍回復条件を確立することで、理論的にスパースistent性の保証を得る。
• 双対分解アプローチを用いて、推定量が非エッジ変数を正しく除外し、真の近傍構造を回復できることを検証する。

実験結果

リサーチクエスチョン

• RQ1 既存の混合グラフィカルモデルを、多項分布やディリクレ分布などの多パラメータ指数型分布族に一般化することは可能か？
• RQ2 ノードの条件付き分布が任意のベクトル空間を定義域とするような統合的グラフィカルモデルを構築できるか。ただし、マルコフ確率場の性質を保持するものとする。
• RQ3 スパースグループラッソ正則化を用いた提案されたM-最適化推定量は、ベクトル空間MRFにおいてスパースistentな構造学習を達成できるか？
• RQ4 本手法は、複雑で多様な変数タイプを持つ高次元の実世界データにおいて、意味的で解釈可能な構造を回復できるか？

主な発見

• 提案されたVS-MRFフレームワークは、スカラーおよび一パラメータの混合MRFを多パラメータ指数型分布族（多項分布やディリクレ分布を含む）に一般化することに成功した。
• スパースグループラッソに基づくM-最適化推定量は、適切な正則性条件の下で、真のグラフィカル構造を高確率で回復できるという理論的保証（スパースistent性）を持つことが示された。
• ADMMに基づく最適化アルゴリズムにより、MyFitnessPalの食品データベース（400万件を超えるエントリを含む）のような大規模データセットに対してもスケーラブルな学習が可能となった。
• MyFitnessPalの事例研究において、学習されたVS-MRFは生物学的および栄養的意味のある構造を明らかにした。特に、脂質、炭水化物、タンパク質といったマクロナトリエントがネットワークの中心的ハブとして浮き彫りになった。
• 合成実験により、本手法が多様なデータタイプおよび設定において、元のグラフィカル構造を正確に回復できることを確認した。
• 理論的解析から、正則化パラメータが精度行列の相互不整合性に対してある境界を満たす場合、厳密な双対妥当性と近傍回復が達成可能であることが示された。