[論文レビュー] Estimating Continuous Distributions in Bayesian Classifiers

George H. John, Pat Langley|arXiv (Cornell University)|Feb 20, 2013

Bayesian Modeling and Causal Inference参考文献 21被引用数 2,918

ひとこと要約

本論文は、ベイズ分類器における連続変数の非パラメトリック密度推定を調査し、カーネル密度推定がガウス仮定よりも優れることを示している。さまざまなドメインにわたる実験結果を提供し、誤差の低減を示している。

ABSTRACT

When modeling a probability distribution with a Bayesian network, we are faced with the problem of how to handle continuous variables. Most previous work has either solved the problem by discretizing, or assumed that the data are generated by a single Gaussian. In this paper we abandon the normality assumption and instead use statistical methods for nonparametric density estimation. For a naive Bayesian classifier, we present experimental results on a variety of natural and artificial domains, comparing two methods of density estimation: assuming normality and modeling each conditional distribution with a single Gaussian; and using nonparametric kernel density estimation. We observe large reductions in error on several natural and artificial data sets, which suggests that kernel estimation is a useful tool for learning Bayesian models.

研究の動機と目的

• 正規性を前提とせず、ベイズネットワークにおける連続変数のモデリングの課題を動機づける。
• 離散化や単一のガウスモデルの代替として非パラメトリック密度推定を評価する。
• さまざまなドメインでの分類器精度に対するカーネル密度推定の影響を評価する。

提案手法

• 条件付き分布に対する2つの密度推定アプローチを比較する： (i) 条件ごとに単一のガウス分布で正規性を仮定する、 (ii) 非パラメトリックなカーネル密度推定。
• これらの方法をナイーブベイズ分類器の枠組みで適用する。
• 自然データと人工データセットを対象に実験的に評価する。
• 2つのアプローチ間の分類誤差削減を分析・比較する。

実験結果

リサーチクエスチョン

• RQ1 カーネル密度推定はベイズ分類器におけるガウス仮定より分類精度を改善するか？
• RQ2 非パラメトリック密度推定は、さまざまな自然データおよび人工データの領域でどのように機能するか？
• RQ3 連続変数を持つベイズモデルの学習におけるカーネル法の実用的な利点は何か？

主な発見

• カーネル密度推定は、いくつかのデータセットで大きな誤差削減をもたらす。
• 非パラメトリック密度推定は、ベイズ分類器における単一のガウス手法を上回ることができる。
• 結果は、カーネルベースの学習がベイズネットワークにおける連続分布のモデリングに有用なツールであることを示唆している。