[論文レビュー] On Supervised Selection of Bayesian Networks

Petri Kontkanen, Petri Myllymäki+2 more|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 24被引用数 38

ひとこと要約

この論文は、ベイジアンネットワークにおける教師ありモデル選択を調査し、分類タスクにおける予測精度を目的とした場合、標準的な周辺尤度スコアが著しく性能を発揮しないことを示している。代わりに、Dawidの逐次的予測（prequential）アプローチが、複数のベンチマークデータセットにおいて優れた性能を発揮することを示しており、特に結合分布のモデリングよりも予測分布の最適化を重視する教師あり学習の場面では、その使用を提唱している。

ABSTRACT

Given a set of possible models (e.g., Bayesian network structures) and a data sample, in the unsupervised model selection problem the task is to choose the most accurate model with respect to the domain joint probability distribution. In contrast to this, in supervised model selection it is a priori known that the chosen model will be used in the future for prediction tasks involving more ``focused' predictive distributions. Although focused predictive distributions can be produced from the joint probability distribution by marginalization, in practice the best model in the unsupervised sense does not necessarily perform well in supervised domains. In particular, the standard marginal likelihood score is a criterion for the unsupervised task, and, although frequently used for supervised model selection also, does not perform well in such tasks. In this paper we study the performance of the marginal likelihood score empirically in supervised Bayesian network selection tasks by using a large number of publicly available classification data sets, and compare the results to those obtained by alternative model selection criteria, including empirical crossvalidation methods, an approximation of a supervised marginal likelihood measure, and a supervised version of Dawids prequential(predictive sequential) principle.The results demonstrate that the marginal likelihood score does NOT perform well FOR supervised model selection, WHILE the best results are obtained BY using Dawids prequential r napproach.

研究の動機と目的

• 標準的な非教師ありモデル選択基準（特に周辺尤度）が、教師ありベイジアンネットワーク学習に適しているかどうかを評価すること。
• 分類タスクにおいて、焦点を当てた予測分布が使用される状況で、予測性能とより整合性のとれたモデル選択基準を同定すること。
• 実世界の分類データセットを用いて、周辺尤度、交差検証、および教師ありスコアリング手法を実証的に比較すること。
• 教師あり設定において、周辺尤度の代替として逐次的（予測的順次）スコアリングの使用を提唱すること。

提案手法

• 著者らは、標準的な非教師あり基準である周辺尤度スコアを、教師ありベイジアンネットワーク構造学習に適用している。
• 彼らは、周辺尤度の近似である実験的交差検証と、Dawidの逐次的スコアリング手法とを比較している。
• 予測精度の評価には、大規模な公開分類データセットのセットを用い、さまざまなモデル選択基準の下での性能を評価している。
• 逐次的スコアリングは、データポイントを順次に予測し、モデルの性能を予測の逐次的更新として扱うことで適用されている。
• データセット間で一貫した実験プロトコルを用いることで、モデル選択性能の公平な評価を確保している。
• 性能は分類精度で測定され、結果はデータセット全体にわたって集約され、一般化可能性の評価がなされている。

実験結果

リサーチクエスチョン

• RQ1 非教師あり設定で広く用いられる周辺尤度スコアが、教師ありベイジアンネットワーク選択においても優れた性能を発揮するのか？
• RQ2 交差検証と逐次的スコアリングは、分類タスクにおける予測精度の観点から周辺尤度に比べてどのように差をつけるのか？
• RQ3 実世界の分類データセットにおいて、非教師ありと教師ありのモデル選択基準の間には顕著な性能差があるのか？
• RQ4 周辺尤度の教師あり適合版は、標準バージョンよりも優れた予測性能を発揮できるのか？
• RQ5 Dawidの逐次的スコアリング手法は、教師ありベイジアンネットワーク学習において、他の基準と比較して一貫して優れた結果をもたらすのか？

主な発見

• 周辺尤度スコアは、非教師あり文脈で広く用いられているものの、教師ありモデル選択では著しく性能を発揮しない。
• 実験的交差検証は周辺尤度よりも性能が向上するが、依然として逐次的スコアリング手法に劣る。
• 逐次的スコアリング手法は、テストされたベンチマークデータセット全体で最良の予測精度を達成している。
• 教師あり周辺尤度の近似測定は中程度の性能を示すが、依然として逐次的スコアリング手法に劣る。
• 結果は、分類タスクにおいて最適な結合分布モデリングと最適な予測性能との間に明確な乖離があることを示している。
• 本研究は、教師ありモデル選択において、結合尤度の最大化よりも予測性能の最適化を優先すべきである、強力な実証的証拠を提供している。