[論文レビュー] Exchangeable Variable Models

Mathias Niepert, Pedro Domingos|arXiv (Cornell University)|May 2, 2014

Bayesian Modeling and Causal Inference参考文献 29被引用数 12

ひとこと要約

本稿では、部分的交換可能性を用いる部分列を構築ブロックとして用いる、高次元かつスパースなデータにおける複雑な相関関係を効率的に捉えることのできる、可解な確率的モデルの新規クラス、交換可能な変数モデル（EVMs）を紹介する。提案されたEVMの混合モデル（MEVMs）は、複数のベンチマークデータセットにおいて、SVM やナイーブベイズ、SPN や ACMN などの他の可解モデルと比較して、分類および確率推定の両面で最先端の性能を達成しており、計算効率を維持している。

ABSTRACT

A sequence of random variables is exchangeable if its joint distribution is invariant under variable permutations. We introduce exchangeable variable models (EVMs) as a novel class of probabilistic models whose basic building blocks are partially exchangeable sequences, a generalization of exchangeable sequences. We prove that a family of tractable EVMs is optimal under zero-one loss for a large class of functions, including parity and threshold functions, and strictly subsumes existing tractable independence-based model families. Extensive experiments show that EVMs outperform state of the art classifiers such as SVMs and probabilistic models which are solely based on independence assumptions.

研究の動機と目的

• 有限部分的交換可能性を構造的インダクティブバイアスとして活用することで、高複雑度のモデルにおいて効率的な推論と学習を可能にする、可解な確率的モデルの新クラスを開発すること。
• ナイーブベイズや低木幅グラフィカルモデルのような独立性に基づくモデルが、高次元データにおける複雑な正負の相関関係を捉えることのできない限界を克服すること。
• EVM、特にMEVMファミリーが、パリティ関数やスイッチング関数といった重要なブール関数に対して、ゼロ-ワン損失のもとで最適であることを示すこと。
• EVMが、実世界の高次元かつスパースなデータセットにおいて、分類精度および対数尤度の両面で、既存の可解モデルを顕著に上回ることを示すこと。
• 条件付き独立性と部分的交換可能性を統合する原理的フレームワークを確立し、効率的な構造学習とパラメータ推定を可能にすること。

提案手法

• EVMは、変数がブロックにグループ化され、その同時分布がブロックの十分統計量にのみ依存する有限部分的交換可能性の概念に基づいている。これにより、パラメータの複雑度が低減される。
• 表現力の向上を図りながらも可解な推論を維持するため、EVMの混合（MEVMs）を用いる。これにより、パラメータの数がナイーブベイズと同等でありながら、ゼロ-ワン損失のもとで広範なブール関数の最適分類が可能となる。
• 最尤推定は、変数の個数ではなく交換可能ブロック数に線形に依存する、効率的なEMアルゴリズムにより実行される。
• 構造学習は、統計的依存性と予測性能に基づいて、変数を最適な交換可能ブロックにグループ化することで実施される。
• 交換可能な変数ノードを新たなノードタイプとして導入することで、和積ネットワーク（SPN）などの既存の可解モデルと統合する。
• 理論的分析により、EVMの部分族がパリティ関数やスイッチング関数に対してゼロ-ワン損失のもとで最適であることが証明され、ナイーブベイズの最適性がより広い関数クラスへ拡張されることを示している。

実験結果

リサーチクエスチョン

• RQ1 有限部分的交換可能性を、推論効率を損なわずに複雑な相関関係を捉える可解な確率的モデルを構築する基盤として用いることは可能か？
• RQ2 交換可能性に基づく可解モデルのファミリーの中で、パリティ関数やスイッチング関数といった重要なブール関数クラスに対してゼロ-ワン損失のもとで最適であるものがあるか？
• RQ3 EVMおよびMEVMは、高次元かつスパースなデータセットにおいて、最先端の分類器および確率的モデルと比較して、分類精度および対数尤度の両面でどのように差をつけるか？
• RQ4 EVMは大規模データセットに効率的に学習可能であり、スケーリング可能か？また、EVM用のEMアルゴリズムは、ナイーブベイズのそれよりも収束速度および計算コストの面で優れているか？
• RQ5 交換可能な変数ノードは、深層確率的アーキテクチャにおける果たす役割は何か？また、和ノードおよび積ノードと比較して、モデルのコンactness（コンパクトネス）と表現力の面でどのように差がつくか？

主な発見

• MEVMは、12のベンチマークデータセットすべてにおいて、平均対数尤度の観点でナイーブベイズ、潜在木モデル、Chow-Liu木を上回り、そのうち7つで最高得点を記録した。
• Wilcoxon符号順位検定において、MEVMはナイーブベイズ（p = 0.0124）、潜在木モデル（p = 0.0188）、Chow-Liu木（p = 0.0022）に対して統計的に有意な改善を示した。
• 100個以上の変数を含むデータセットでは、EVMのEMアルゴリズムがナイーブベイズのそれよりも最大2桁の速度向上を示した。これは、交換可能ブロック数に線形に依存する複雑度のおかげである。
• MEVMは、12のデータセットのうち7つでSPNを、6つでACMNを上回った。これは、ナイーブベイズと同等のパラメータ数でありながら、はるかに高い効率性を示している。
• MEVMは12のデータセットのうち7つで最高の対数尤度を記録し、NLTCS、Plants、Audio、Netflix、20Newsgroupなど、高次元かつスパースなデータでも優れた性能を発揮した。
• 理論的結果により、EVMの部分族がパリティ関数およびスイッチング関数に対してゼロ-ワン損失のもとで最適であることが示され、ナイーブベイズの最適性がより広い関数クラスへ拡張されることを裏付けた。