[논문 리뷰] On Supervised Selection of Bayesian Networks

Petri Kontkanen, Petri Myllymäki외 2명|arXiv (Cornell University)|2013. 01. 23.

Bayesian Modeling and Causal Inference참고 문헌 24인용 수 38

한 줄 요약

이 논문은 베이지안 네트워크의 지도 학습을 위한 모델 선택을 조사하며, 분류 작업에서 예측 정확도를 목표로 할 때 표준 주변 가능도 점수가 성능이 떨어지는 것으로 밝혀졌다. 대신, 다양한 벤치마크 데이터셋에서 다우이드의 사전순서적(예측 순차적) 접근 방식이 뛰어난 성능을 보이며, 공동 분포 모델링보다는 집중적인 예측 분포를 우선시하는 지도 학습 환경에서의 사용을 권장한다.

ABSTRACT

Given a set of possible models (e.g., Bayesian network structures) and a data sample, in the unsupervised model selection problem the task is to choose the most accurate model with respect to the domain joint probability distribution. In contrast to this, in supervised model selection it is a priori known that the chosen model will be used in the future for prediction tasks involving more ``focused' predictive distributions. Although focused predictive distributions can be produced from the joint probability distribution by marginalization, in practice the best model in the unsupervised sense does not necessarily perform well in supervised domains. In particular, the standard marginal likelihood score is a criterion for the unsupervised task, and, although frequently used for supervised model selection also, does not perform well in such tasks. In this paper we study the performance of the marginal likelihood score empirically in supervised Bayesian network selection tasks by using a large number of publicly available classification data sets, and compare the results to those obtained by alternative model selection criteria, including empirical crossvalidation methods, an approximation of a supervised marginal likelihood measure, and a supervised version of Dawids prequential(predictive sequential) principle.The results demonstrate that the marginal likelihood score does NOT perform well FOR supervised model selection, WHILE the best results are obtained BY using Dawids prequential r napproach.

연구 동기 및 목표

• 표준 비지도 모델 선택 기준—특히 주변 가능도—가 지도 학습에서의 베이지안 네트워크 학습에 적합한지 평가하는 것.
• 집중적인 예측 분포를 사용하는 분류 작업에서 예측 성능과 더 잘 일치하는 모델 선택 기준을 특정하는 것.
• 실제 분류 데이터셋에서 주변 가능도, 교차 검증, 지도 학습 점수 기준을 실증적으로 비교하는 것.
• 주변 가능도보다 사전순서적(예측 순차적) 점수 기준을 지도 설정에서 더 우수한 대안으로 사용할 것을 주장하는 것.

제안 방법

• 저자는 표준 비지도 기준인 주변 가능도 점수를 지도 학습 베이지안 네트워크 구조 학습에 적용한다.
• 그들은 이를 경험적 교차 검증(지도 학습 주변 가능도의 근사치)과 다우이드의 사전순서적 점수 기준과 비교한다.
• 예측 정확도 평가를 위해 공개된 분류 데이터셋의 대규모 세트를 사용하여 다양한 모델 선택 기준의 성능을 평가한다.
• 사전순서적 점수 기준은 데이터 포인트를 순차적으로 예측하여 평가하며, 모델 성능을 예측 업데이트의 연속으로 간주한다.
• 모든 데이터셋에서 일관된 실험 프rotocol를 사용하여 모델 선택 성능의 공정한 평가를 확보한다.
• 성능은 분류 정확도로 측정되며, 결과는 데이터셋 간 일반화 능력을 평가하기 위해 집계된다.

실험 결과

연구 질문

• RQ1 일반적으로 비지도 설정에서 사용되는 주변 가능도 점수가 지도 학습 베이지안 네트워크 선택에서 잘 작동하는가?
• RQ2 교차 검증과 사전순서적 점수 기준은 주변 가능도에 비해 분류 작업의 예측 정확도에서 어떻게 비교되는가?
• RQ3 실제 분류 데이터셋에서 비지도와 지도 모델 선택 기준 간에 상당한 성능 격차가 존재하는가?
• RQ4 주변 가능도 점수 기준의 지도 학습 적응형 버전이 표준 버전보다 예측 성능에서 뛰어나게 되는가?
• RQ5 다우이드의 사전순서적 점수 기준은 지도 학습 베이지안 네트워크 학습에서 다른 기준보다 일관되게 더 좋은 결과를 제공하는가?

주요 결과

• 주변 가능도 점수 기준은 비지도 환경에서 널리 사용되지만, 지도 학습 모델 선택에서는 성능이 열 劣하다.
• 경험적 교차 검증 방법은 주변 가능도보다 성능이 향상되었지만, 사전순서적 점수 기준에 비해 열 劣하다.
• 사전순서적 점수 기준은 테스트된 벤치마크 데이터셋 전반에서 최고의 예측 정확도를 달성한다.
• 지도 학습 주변 가능도 측정의 근사치는 중간 정도의 성능을 보였지만 여전히 사전순서적 기준에 열 劣하다.
• 결과는 분류 작업에서 최적의 공동 분포 모델링과 최적의 예측 성능 사이에 명확한 괴리가 있음을 보여준다.
• 이 연구는 지도 학습에서 모델 선택이 공동 가능도 최대화보다 예측 성능을 우선시해야 한다는 강력한 실증적 증거를 제공한다.