[논문 리뷰] Models and Selection Criteria for Regression and Classification

David Heckerman, Christopher Meek|arXiv (Cornell University)|2013. 02. 06.

Bayesian Modeling and Causal Inference참고 문헌 12인용 수 58

한 줄 요약

이 논문은 예측 모델에 집중할 수 있도록 독립적인 조건부(y|x) 및 입력(x) 분포로 인수분해되는 베이지안 회귀/분류(BRC) 모델을 제안한다. 일반적인 베이지안 모델을 BRC 형태로 변환하는 것에 대해 비판적으로 접근하며, 이는 중요한 사전 지식을 상실할 수 있음을 주장한다. 또한 스피겔할터 등(1993)과 반틴(1993)의 두 가지 베이지안 모델 선택 기준을 평가하여 특정 조건 하에서 이들이 일치함을 보이며, 이는 회귀 및 분류 과제에서 신뢰할 수 있는 모델 선택에 대한 함의를 지닌다.

ABSTRACT

When performing regression or classification, we are interested in the conditional probability distribution for an outcome or class variable Y given a set of explanatoryor input variables X. We consider Bayesian models for this task. In particular, we examine a special class of models, which we call Bayesian regression/classification (BRC) models, that can be factored into independent conditional (y|x) and input (x) models. These models are convenient, because the conditional model (the portion of the full model that we care about) can be analyzed by itself. We examine the practice of transforming arbitrary Bayesian models to BRC models, and argue that this practice is often inappropriate because it ignores prior knowledge that may be important for learning. In addition, we examine Bayesian methods for learning models from data. We discuss two criteria for Bayesian model selection that are appropriate for repression/classification: one described by Spiegelhalter et al. (1993), and another by Buntine (1993). We contrast these two criteria using the prequential framework of Dawid (1984), and give sufficient conditions under which the criteria agree.

연구 동기 및 목표

• 일반적인 베이지안 모델을 베이지안 회귀/분류(BRC) 모델로 변환하는 데 있어 이론적 및 실용적 함의를 검토하는 것.
• 사전 지식이 존재하고 잠재적으로 유용한 경우 이러한 변환이 타당한지 평가하는 것.
• 회귀 및 분류 과제에 대해 스피格尔할터 등(1993)과 반틴(1993)의 두 가지 베이지안 모델 선택 기준을 비교하는 것.
• 두 선택 기준이 동일한 순위를 부여하는 데 필요한 충분한 조건을 특정하여 모델 평가의 일관성을 확보하는 것.
• 베이지안 방법을 활용하여 회귀 및 분류 과제에 적합한 모델을 선택하는 데 도움이 되는 지침을 제공하는 것.

제안 방법

• 독립적인 조건부(y|x) 및 입력(x) 분포로 분해되는 BRC 모델로 간주되는 일련의 베이지안 모델을 제안한다.
• 결과로 관심 있는 변수에 대해 집중적인 학습과 추론이 가능하도록 조건부 모델(y|x)을 입력 모델(x)과 별도로 분석한다.
• 일반적인 베이지안 모델을 BRC 형태로 변환하는 관행을 비판하며, 이는 필수적인 사전 지식을 상실할 수 있음을 주장한다.
• 다우드(1984)의 순차적 프레임워크를 적용하여 두 가지 베이지안 모델 선택 기준—스피겔할터 등(1993)의 사후 예측 밀도 기반 기준과 반틴(1993)의 주변 가능도 기반 기준—을 비교한다.
• 두 기준이 동일한 모델 순위를 부여하는 데 필요한 충분한 조건을 유도하여 모델 선택의 강건성을 확보한다.
• 이론적 분석을 통해 특히 순차적 예측 설정에서 두 기준이 일치하는 조건을 입증한다.

실험 결과

연구 질문

• RQ1 일반적인 베이지안 모델을 BRC 형태로 변환하는 것은 회귀 및 분류 과제에서 타당하고 유익한 실천인가?
• RQ2 사전 지식의 포함 또는 배제가 BRC 모델의 학습과 성능에 어떤 영향을 미치는가?
• RQ3 스피겔할터 등(1993)과 반틴(1993)의 베이지안 모델 선택 기준이 동일한 순위를 부여하는 조건은 무엇인가?
• RQ4 다우드(1984)의 순차적 프레임워크는 순차적 예측 과제에서 모델 선택 기준을 공정하게 비교하는 데 어떻게 기여하는가?
• RQ5 회귀 및 분류 과제에서 다양한 베이지안 모델 선택 접근법 간의 일관성을 보장하는 이론적 조건은 무엇인가?

주요 결과

• 일반적인 베이지안 모델을 BRC 형태로 변환하는 것은 종종 부적절하며, 정확한 학습에 필수적인 사전 지식을 상실할 수 있기 때문이다.
• 스피겔할터 등(1993)과 반틴(1993)의 두 가지 베이지안 모델 선택 기준은 특정한 충분한 조건 하에서 일치하며, 특히 모델가 잘 지정되어 있고 데이터가 교환 가능할 경우에 해당한다.
• 순차적 프레임워크는 예측 성능을 시간에 따라 평가함으로써 모델 선택 기준을 비교하는 데 타당한 기반을 제공한다.
• BRC 모델에서는 조건부 모델(y|x)을 독립적으로 분석할 수 있어 추론 및 모델 개발을 단순화할 수 있다.
• 모델 구축 시 사전 지식의 활용은 필수적이며, BRC 구조를 채택하더라도 忽시되어서는 안 된다.
• 모델 일致성과 적절한 사전 분포 설정 조건 하에서 두 기준 간의 이론적 일치가 입증된다.