[論文レビュー] Models and Selection Criteria for Regression and Classification

David Heckerman, Christopher Meek|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 12被引用数 58

ひとこと要約

本稿は、予測モデルの焦点的な分析を可能にする独立した条件付き分布 (y|x) と入力分布 (x) に分解するベイジアン回帰/分類（BRC）モデルを提案する。任意のベイジアンモデルをBRC形式に変換することの批判として、このプロセスが重要な事前知識を失う可能性があると主張し、スピーゲルハルターら（1993年）とバンティン（1993年）の2つのベイジアンモデル選択基準を評価。特定の条件下で両基準が一致することを示し、回帰および分類タスクにおける信頼性の高いモデル選択に意味を持つ。

ABSTRACT

When performing regression or classification, we are interested in the conditional probability distribution for an outcome or class variable Y given a set of explanatoryor input variables X. We consider Bayesian models for this task. In particular, we examine a special class of models, which we call Bayesian regression/classification (BRC) models, that can be factored into independent conditional (y|x) and input (x) models. These models are convenient, because the conditional model (the portion of the full model that we care about) can be analyzed by itself. We examine the practice of transforming arbitrary Bayesian models to BRC models, and argue that this practice is often inappropriate because it ignores prior knowledge that may be important for learning. In addition, we examine Bayesian methods for learning models from data. We discuss two criteria for Bayesian model selection that are appropriate for repression/classification: one described by Spiegelhalter et al. (1993), and another by Buntine (1993). We contrast these two criteria using the prequential framework of Dawid (1984), and give sufficient conditions under which the criteria agree.

研究の動機と目的

• 一般ベイジアンモデルをベイジアン回帰/分類（BRC）モデルに変換することの理論的・実用的意味を検討すること。
• 事前知識が存在する場合、それが有用である場合に、そのような変換が適切かどうかを評価すること。
• 回帰および分類タスクにおける2つのベイジアンモデル選択基準—スピーゲルハルターら（1993年）とバンティン（1993年）—を比較すること。
• 2つの選択基準が等価なモデルランク付けをもたらす十分条件を同定し、モデル評価の一貫性を保証すること。
• ベイジアン手法を用いた回帰および分類タスクにおける適切なモデル選択の指針を提供すること。

提案手法

• 独立した条件付き分布 (y|x) と入力分布 (x) に分解する、ベイジアンモデルのクラス（BRCモデル）を提案する。
• 結果の注目対象である条件付きモデル (y|x) を入力モデル (x) とは別々に分析することで、焦点的な学習と推論を可能にする。
• 一般的に見られる任意のベイジアンモデルをBRC形式に変換する慣習を批判し、これが重要な事前知識を失う可能性があると主張する。
• ダウイド（1984年）の逐次フレームワークを用い、2つのベイジアンモデル選択基準—スピーゲルハルターら（1993年）の事後予測密度に基づく基準と、バンティン（1993年）の周辺尤度に基づく基準—を比較する。
• 2つの基準が同一のモデルランク付けをもたらす十分条件を導出することで、モデル選択の整合性を確保する。
• 理論的分析により、特に逐次予測設定において基準が一致する条件を示す。

実験結果

リサーチクエスチョン

• RQ1 回帰および分類タスクにおいて、任意のベイジアンモデルをBRC形式に変換することは妥当的で有益な実践であるか？
• RQ2 BRCモデルにおける事前知識の含める・含めないことは、モデルの学習と性能にどのように影響するか？
• RQ3 スピーゲルハルターら（1993年）とバンティン（1993年）のベイジアンモデル選択基準が等価なモデルランク付けをもたらす条件は何か？
• RQ4 ダウイド（1984年）の逐次フレームワークは、逐次予測タスクにおけるモデル選択基準の公平な比較をどのように可能にするか？
• RQ5 回帰および分類タスクにおいて、異なるベイジアンモデル選択アプローチの間で一貫性を保証する理論的条件は何か？

主な発見

• 任意のベイジアンモデルをBRC形式に変換することは、しばしば不適切である。なぜなら、正確な学習に不可欠な事前知識が失われる可能性があるからである。
• スピーゲルハルターら（1993年）とバンティン（1993年）の2つのベイジアンモデル選択基準は、特定の十分条件のもとで一致する。特に、モデルが適切に指定されており、データが交換可能である場合に顕著である。
• 逐次フレームワークは、時間経過における予測性能を評価することで、モデル選択基準の比較に妥当な根拠を提供する。
• BRCモデルでは、条件付きモデル (y|x) を独立して分析できるため、推論とモデル開発が簡素化される。
• モデル構築において事前知識を活用することは不可欠であり、BRC構造を採用しても無視すべきではない。
• モデルの一貫性と適切な事前分布の指定が満たされる条件下で、2つの基準の理論的一致が確立される。