[論文レビュー] Classifier Learning with Supervised Marginal Likelihood

Petri Kontkanen, Petri Myllymäki+1 more|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 13被引用数 17

ひとこと要約

この論文では、診断モデルに適した予測子が少ない状況において、教師ありマージナル尤度をベイジアンネットワーク分類器のモデル選択基準として使用することを提案している。このスコアは線形時間で計算可能であり、分類器の効率的な学習を可能にし、標準的なマージナル尤度やナイーブベイズよりも特定の状況で優れた性能を示す。

ABSTRACT

It has been argued that in supervised classification tasks, in practice it may be more sensible to perform model selection with respect to some more focused model selection score, like the supervised (conditional) marginal likelihood, than with respect to the standard marginal likelihood criterion. However, for most Bayesian network models, computing the supervised marginal likelihood score takes exponential time with respect to the amount of observed data. In this paper, we consider diagnostic Bayesian network classifiers where the significant model parameters represent conditional distributions for the class variable, given the values of the predictor variables, in which case the supervised marginal likelihood can be computed in linear time with respect to the data. As the number of model parameters grows in this case exponentially with respect to the number of predictors, we focus on simple diagnostic models where the number of relevant predictors is small, and suggest two approaches for applying this type of models in classification. The first approach is based on mixtures of simple diagnostic models, while in the second approach we apply the small predictor sets of the simple diagnostic models for augmenting the Naive Bayes classifier.

研究の動機と目的

• 標準的なマージナル尤度の限界を克服し、教師付き分類においてより焦点を当てたモデル選択基準を提案すること。
• 診断用ベイジアンネットワーク分類器において、教師ありマージナル尤度が効率的に計算可能であることを示すこと。
• 少ない予測子を有する単純な診断モデルを活用して分類性能を向上させる実用的手法を開発すること。
• 提案手法をナイーブベイズや標準的なマージナル尤度といった既存手法と比較すること。

提案手法

• 本論文は、クラス変数が少数の予測子変数に依存する診断用ベイジアンネットワーク分類器に焦点を当てる。
• これらのモデルの構造を活用して、データサイズに比例する線形時間で教師ありマージナル尤度を計算する。
• 2つの分類戦略を提案する：単純な診断構造における混合モデルと、特定の予測子集合を追加したナイーブベイズの拡張。
• 選択された予測子集合の上でのベイジアンモデル平均を用いることで、汎化性能を向上させる。
• 教師ありマージナル尤度は、観測データとクラスラベルが与えられたもとでのモデルパラメータを統合することで、条件付きマージナル尤度として導出される。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワーク分類器において、教師ありマージナル尤度を効率的に計算できるか？
• RQ2 教師ありマージナル尤度を用いることで、標準的なマージナル尤度やナイーブベイズよりも優れた分類性能が得られるか？
• RQ3 少ない予測子を有する単純な診断モデルを効果的に組み合わせたり拡張したりすることで、分類精度を向上させられるか？
• RQ4 教師ありマージナル尤度の計算コストは、分類タスクにおける実用的利用に耐えうるか？

主な発見

• 診断用ベイジアンネットワーク分類器において、教師ありマージナル尤度スコアは線形時間で計算可能であり、計算的に実行可能である。
• ベンチマークデータセットにおいて、提案手法は標準的なマージナル尤度やナイーブベイズよりも分類精度が優れている。
• 単純な診断構造における混合モデルは、複数の低次元予測子集合を効果的に組み合わせる柔軟な手法を提供する。
• 診断モデルからの特定の予測子集合をナイーブベイズに追加することで、複雑さを著しく増加させることなく性能が向上する。