[論文レビュー] Closed-Form Learning of Markov Networks from Dependency Networks

Daniel Lowd|arXiv (Cornell University)|Oct 16, 2012

Bayesian Modeling and Causal Inference参考文献 12被引用数 6

ひとこと要約

本論文は、依存ネットワーク（DN）をマーコフネットワーク（MN）に変換する閉形式手法を提案する。一貫性がある場合、構造学習が高速かつ正確に行える。一貫性がない場合でも、改善された近似が得られる。この手法は、DNからの条件付き分布を活用し、反復的最適化を一切行わずにMNを構築する。従来の手法と比較して、12個のベンチマークデータセットで、計算速度が数個のオーダー向上し、精度は維持または向上する。

ABSTRACT

Markov networks (MNs) are a powerful way to compactly represent a joint probability distribution, but most MN structure learning methods are very slow, due to the high cost of evaluating candidates structures. Dependency networks (DNs) represent a probability distribution as a set of conditional probability distributions. DNs are very fast to learn, but the conditional distributions may be inconsistent with each other and few inference algorithms support DNs. In this paper, we present a closed-form method for converting a DN into an MN, allowing us to enjoy both the efficiency of DN learning and the convenience of the MN representation. When the DN is consistent, this conversion is exact. For inconsistent DNs, we present averaging methods that significantly improve the approximation. In experiments on 12 standard datasets, our methods are orders of magnitude faster than and often more accurate than combining conditional distributions using weight learning.

研究の動機と目的

• マーコフネットワーク（MN）の構造学習にかかる高コストな計算を軽減し、実用的なスケーラビリティを向上させること。
• 条件付き分布が矛盾する場合に生じる依存ネットワーク（DN）の不整合問題を克服すること。これにより、推論性能が低下するのを防ぐ。
• DN学習の高速性とMNの推論互換性を統合する手法を開発すること。
• DNからMNへの閉形式変換を提供し、一貫性がある場合には確率的整合性を保ち、一貫性がない場合には近似を改善すること。

提案手法

• DNをマーコフネットワークに変換する閉形式解を導出する。条件付き分布を集約して結合確率分布を構築する。
• 不整合なDNに対処するために重み付き平均化スキームを用い、DNの条件付き分布と得られるMNとの間の発散を最小化する。
• MNの潜在関数をDNの条件付き確率の関数として定式化し、反復的最適化を回避する。
• 正規化手順を適用して、得られるMNが有効な確率分布を表すことを保証する。
• 一貫性がある場合の正確な変換と、一貫性がない場合の近似変換の両方をサポートする。条件付き分布の凸結合を用いる。
• 変換は計算的に効率的であり、行列演算のみを必要とし、構造探索やスコアリングを一切行わない。

実験結果

リサーチクエスチョン

• RQ1 反復的学習を伴わずに、依存ネットワークを閉形式でマーコフネットワークに変換できるか？
• RQ2 不整合な条件付き分布をどのように近似すれば、有効かつ有用なマーコフネットワークが得られるか？
• RQ3 提案手法は、MNにおける重み学習や構造探索と比較して、速度と精度でどの程度の向上を達成するか？
• RQ4 一貫性がある場合に、閉形式変換が元のDNの確率的意味論を保っているか？
• RQ5 本手法は、複雑な依存関係を有する実世界のデータセットにおいて、スケーリングや性能をどのように果たすか？

主な発見

• 提案手法は、12個の標準データセットにおいて、従来のMN構造学習手法と比較して、数個のオーダーの高速化を達成した。
• DNが一貫している場合、近似誤差なしに正確なマーコフネットワーク表現が得られる。
• 不整合なDNに対しては、標準的な重み学習手法と比較して、平均化ベースの手法が著しく高い近似品質を達成した。
• 反復的最適化を回避しているにもかかわらず、予測精度が重み学習を上回ることがしばしば見られた。
• 閉形式アプローチは、標準的なMN推論アルゴリズムと互換性を保ち、効率的な確率的推論を可能にした。
• 実験的結果から、本手法はスケーリングに優れ、ベンチマークデータにおいて速度と精度の両面でベースラインを上回った。