[論文レビュー] Embedded Bayesian Network Classifiers

David Heckerman, Christopher Meek|arXiv (Cornell University)|Oct 22, 2019

Bayesian Modeling and Causal Inference参考文献 8被引用数 16

ひとこと要約

本稿では、埋め込みベイジアンネットワーク分類器（EBNCs）と呼ばれる新しい確率的モデルを紹介する。EBNCsは、ノードの条件付き確率分布が、元のモデルとは異なるベイジアンネットワークから導出可能であるという点で、従来のベイジアンネットワーク分類器を拡張するものである。EBNCsは、softmax多項式回帰モデルと同等であることが示され、漸近的近似を用いた効率的なパラメータ学習と構造探索が可能であるが、その実用的有用性についてはまだ経験的に検証されていない。

ABSTRACT

Low-dimensional probability models for local distribution functions in a Bayesian network include decision trees, decision graphs, and causal independence models. We describe a new probability model for discrete Bayesian networks, which we call an embedded Bayesian network classifier or EBNC. The model for a node $Y$ given parents $\bf X$ is obtained from a (usually different) Bayesian network for $Y$ and $\bf X$ in which $\bf X$ need not be the parents of $Y$. We show that an EBNC is a special case of a softmax polynomial regression model. Also, we show how to identify a non-redundant set of parameters for an EBNC, and describe an asymptotic approximation for learning the structure of Bayesian networks that contain EBNCs. Unlike the decision tree, decision graph, and causal independence models, we are unaware of a semantic justification for the use of these models. Experiments are needed to determine whether the models presented in this paper are useful in practice.

研究の動機と目的

• 従来のベイジアンネットワーク分類器を一般化する新しい分類用確率的モデルの開発。
• 意思決定木や因果的独立性モデルなどの低次元モデルに、意味的根拠が欠けている問題への対処。
• ベイジアンネットワーク構造を分類器モデルに埋め込むための形式的フレームワークの提案。これにより、柔軟かつ非冗長なパrameterizationが可能となる。
• EBNCsとsoftmax多項式回帰との間の理論的関係を確立し、学習と推論に活かす。

提案手法

• EBNCモデルは、ターゲットノードYの条件付き確率が、Yの親が元のモデルとは異なる別のベイジアンネットワークから導出されることを活用する。
• モデルは、解析的扱いやすさを保証する、softmax多項式回帰モデルの特殊ケースとして数学的に形式化される。
• EBNC構造における冗長パラメータを特定・削除することで、非冗長なパrameterizationが導出される。
• EBNCを含むベイジアンネットワークの構造学習のための漸近的近似法が提案され、スケーラブルな構造探索が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ターゲットノードの条件付き確率モデルが、分類器における親変数とは異なる構造の別のネットワークから導出可能なベイジアンネットワーク分類器を構築できるか？
• RQ2 EBNCsとsoftmax多項式回帰などの既存モデルとの間の数学的関係は何か？
• RQ3 EBNCの学習を効率的に行うために、非冗長なパラメータ集合をどのように特定できるか？
• RQ4 EBNCを含むベイジアンネットワークに構造学習アルゴリズムを適用した際の漸近的挙動は何か？

主な発見

• EBNCsがsoftmax多項式回帰モデルの特殊ケースとして形式的に示され、その使用に強い理論的基盤が得られた。
• EBNCsの非冗長なパラメータ化が導出され、学習アルゴリズムによる過剰適合の原因となる冗長パラメータの影響が回避された。
• EBNCを含むベイジアンネットワークの構造学習のための漸近的近似法が開発され、スケーラブルな構造探索が可能になった。
• 理論的基盤は整っているが、本稿はEBNCsに意味的根拠が欠けていると認め、実用的有用性を評価するための経験的検証を求める。