[論文レビュー] Exact Maximum Margin Structure Learning of Bayesian Networks

Robert Peharz, Franz Pernkopf|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 24被引用数 5

ひとこと要約

本稿では、確率的ソフトマージンという判別スコアを最大化するようにベイジアンネットワーク構造を学習する線形計画法フレームワーク内での正確な分枝限定法を提案する。順序制約を用いてサイクルのない構造を強制することで、任意の時点での解が得られるとともに、最悪ケースの近似解の上限が保証され、生成的手法を上回り、サポートベクターマシンと同等の分類性能を達成する。

ABSTRACT

Recently, there has been much interest in finding globally optimal Bayesian network structures. These techniques were developed for generative scores and can not be directly extended to discriminative scores, as desired for classification. In this paper, we propose an exact method for finding network structures maximizing the probabilistic soft margin, a successfully applied discriminative score. Our method is based on branch-and-bound techniques within a linear programming framework and maintains an any-time solution, together with worst-case sub-optimality bounds. We apply a set of order constraints for enforcing the network structure to be acyclic, which allows a compact problem representation and the use of general-purpose optimization techniques. In classification experiments, our methods clearly outperform generatively trained network structures and compete with support vector machines.

研究の動機と目的

• 判別スコア、特に確率的ソフトマージンを最大化するようにベイジアンネットワーク構造を学習する正確な手法の開発。
• 従来のグローバル最適手法の制限を克服する。これらは生成的スコアに限定されており、判別的学習に直接適用できない。
• 最適化中に常に任意の時点での解が得られ、最悪ケースの近似解の上限が保証されるように維持する。
• サイクルを強制するための順序変数を用いたコンact表現により、効率的な最適化を可能にする。
• 判別的に学習されたベイジアンネットワークが、サポートベクターマシンなどの最先端モデルと同等またはそれを上回る性能を示すことを実証する。

提案手法

• 本手法は、線形計画法と統合された分枝限定フレームワークを用い、確率的ソフトマージンスコアを最適化する。
• ノード変数に対する順序制約を用いて、サイクルのないネットワーク構造を強制し、問題の表現をコンactかつ効率的にする。
• 最適化プロセスは常に任意の時点での解を提供し、最悪ケースの近似解の上限が保証される。
• 構造学習問題を混合整数線形計画問題に再定式化することで、一般用途の最適化技術を活用する。
• 標準的な生成的手法では正確に解けないが、判別的スコアのグローバル最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワークにおける判別的スコア、特に確率的ソフトマージンに対して、正確な構造学習が可能か。
• RQ2 一般用途のソルバーと効率的に統合できるように、サイクル制約をどのように効率的に表現できるか。
• RQ3 判別的に学習されたベイジアンネットワークの分類性能は、生成的手法やサポートベクターマシンと比べてどうか。
• RQ4 提案手法は最適化中に常に任意の時点での解が得られ、近似解の保証が得られるか。
• RQ5 線形計画法と分枝限定法を用いて、判別的スコア下でのベイジアンネットワーク構造のグローバル最適化が可能か。

主な発見

• 提案手法は、判別的基準である確率的ソフトマージンスコア下で、ベイジアンネットワーク構造の正確なグローバル最適化を達成する。
• 分類実験の結果、判別的に学習されたネットワークは、生成的に学習されたベイジアンネットワークを著しく上回る性能を示す。
• 本手法の性能はサポートベクターマシンと同等であり、正確な判別的構造学習の実現可能性を示している。
• 順序制約の使用により、問題の表現がコンactになり、標準的な最適化ソルバーとの効率的な統合が可能になる。
• アルゴリズムは、証明可能な最悪ケースの近似解の上限を伴う任意の時点での解を提供し、実用性が向上する。