[論文レビュー] Bayesian Network Classifiers in a High Dimensional Framework

Tatjana Pavlenko, Dietrich von Rosen|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 16被引用数 4

ひとこと要約

本稿は、ベイジアンネットワーク分類器の高次元漸近的枠組みを導入し、その判別関数が一般化加法モデルの特殊ケースであることを示し、閉形式の漸近的誤分類確率を可能にする。特徴集合の判別力に基づいて重みを最適化する重み付き拡張ナイーブベイズ分類器を提案し、高次元におけるこの判別力の過大評価を理論的に是正することで誤分類を最小化する。

ABSTRACT

We present a growing dimension asymptotic formalism. The perspective in this paper is classification theory and we show that it can accommodate probabilistic networks classifiers, including naive Bayes model and its augmented version. When represented as a Bayesian network these classifiers have an important advantage: The corresponding discriminant function turns out to be a specialized case of a generalized additive model, which makes it possible to get closed form expressions for the asymptotic misclassification probabilities used here as a measure of classification accuracy. Moreover, in this paper we propose a new quantity for assessing the discriminative power of a set of features which is then used to elaborate the augmented naive Bayes classifier. The result is a weighted form of the augmented naive Bayes that distributes weights among the sets of features according to their discriminative power. We derive the asymptotic distribution of the sample based discriminative power and show that it is seriously overestimated in a high dimensional case. We then apply this result to find the optimal, in a sense of minimum misclassification probability, type of weighting.

研究の動機と目的

• 高次元設定におけるベイジアンネットワーク分類器の評価のための次元が増加する漸近的枠組みを構築すること。
• 解析的可解性を高めるために、ベイジアンネットワーク分類器と一般化加法モデルの関係を形式化すること。
• 分類器設計を支援するための特徴集合の判別力の新しい測定法を導入すること。
• 高次元データにおける判別力の過大評価を是正すること。
• 漸近的誤分類確率を最小化するように最適化された重み付けスキームを導出すること。

提案手法

• 標本サイズと特徴次元が固定比率で増加する「次元が増加する漸近的形式」を採用する。
• ベイジアンネットワーク分類器を一般化加法モデルとして表現し、漸近的誤分類確率の閉形式表現を導出する。
• 分類精度への特徴サブセットの寄与に基づく判別力測定法を導入する。
• 標本に基づく判別力推定値の漸近的分布を導出し、高次元におけるバイアスの性質と大きさを特定する。
• 推定された判別力に応じて特徴集合に重みを割り当てる重み付き拡張ナイーブベイズ分類器を提案する。
• 高次元における過大評価を考慮して、誤分類確率の漸近的最小化を目的とした重み付けスキームを最適化する。

実験結果

リサーチクエスチョン

• RQ1 特徴次元が増加する高次元的漸近的枠組みにおいて、どのようにしてベイジアンネットワーク分類器を分析できるか？
• RQ2 判別関数の観点から、ベイジアンネットワーク分類器と一般化加法モデルの関係は何か？
• RQ3 特徴集合の判別力はどのように推定され、高次元設定におけるその漸近的挙動は何か？
• RQ4 なぜ標本に基づく判別力は高次元データにおいて過大評価されるのか、そしてそのバイアスはどのように是正できるか？
• RQ5 拡張ナイーブベイズ分類器において、漸近的誤分類確率を最小化する最適な重み付けスキームは何か？

主な発見

• ベイジアンネットワーク分類器の判別関数は、一般化加法モデルの特殊ケースであり、これにより漸近的誤分類確率の閉形式表現が可能になる。
• 提案された判別力測定法は、特徴サブセットの分類性能への寄与を体系的かつ整合的に評価するための手法を提供する。
• 高次元設定では、次元が増加する漸近的枠組みの下で、標本に基づく判別力推定値が体系的に過大評価される。
• 判別力推定値の漸近的分布が導出され、高次元におけるバイアスの性質と大きさが明らかになった。
• 拡張ナイーブベイズ分類器の最適な重み付けスキームは、特徴集合の判別力の過大評価を考慮することで、誤分類確率を最小化する。
• その結果、より判別力の高い特徴集合に適切な重みを割り当てることで、重み付き拡張ナイーブベイズ分類器は分類精度が向上する。