[논문 리뷰] A Bayesian Network Classifier that Combines a Finite Mixture Model and a Naive Bayes Model

Stefano Monti, Gregory F. Cooper|arXiv (Cornell University)|2013. 01. 23.

Bayesian Modeling and Causal Inference참고 문헌 27인용 수 24

한 줄 요약

이 논문은 분류 정확도와 확률 캘리브레이션을 향상시키기 위해 유한 혼합 모델(FMM)과 나이브 베이즈(NB) 모델을 통합한 하이브리드 베이지안 네트워크 분류기를 제안한다. NB 프레임워크 내에서 특징 변수를 구성 요소의 혼합으로 모델링함으로써 NB의 조건부 독립 가정을 완화하면서도 계산 효율성을 유지함으로써, NB나 FMM 단독으로 사용할 때보다 실제 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

In this paper we present a new Bayesian network model for classification that combines the naive-Bayes (NB) classifier and the finite-mixture (FM) classifier. The resulting classifier aims at relaxing the strong assumptions on which the two component models are based, in an attempt to improve on their classification performance, both in terms of accuracy and in terms of calibration of the estimated probabilities. The proposed classifier is obtained by superimposing a finite mixture model on the set of feature variables of a naive Bayes model. We present experimental results that compare the predictive performance on real datasets of the new classifier with the predictive performance of the NB classifier and the FM classifier.

연구 동기 및 목표

• 나이브 베이즈와 유한 혼합 모델의 분류에서의 한계를 해결하기 위해 그들의 강점을 융합하기 위해.
• 특징의 혼합 모델링을 통해 나이브 베이즈의 강력한 조건부 독립 가정을 완화하기 위해.
• 분류 작업에서 예측 정확도와 확률 추정의 캘리브레이션을 모두 향상시키기 위해.
• 유지 가능성은 유지하면서 성능을 향상시키는 계산 효율적인 베이지안 네트워크 분류기를 개발하기 위해.
• 기준 분류기들과의 비교를 통해 제안된 모델을 실제 데이터셋에 대해 평가하기 위해.

제안 방법

• 분류기는 나이브 베이즈(NB) 구조에 유한 혼합 모델(FMM)을 초월하여 특징 변수에 혼합 구성 요소를 겹쳐 놓음으로써 FMM과 NB를 통합한다.
• 각 특징은 구성 요소 분포의 혼합으로 모델링되어 특징 간 의존성의 더 유연한 표현이 가능하다.
• 각 특징이 어느 혼합 구성 요소에서 유래되었는지를 나타내는 잠재 변수를 사용하여 구성 요소별로 파라미터 추정이 가능해진다.
• 베이지안 네트워크 프레임워크 내에서 잠재된 혼합 구조를 다루기 위해 EM 알고리즘을 사용하여 파라미터 학습을 수행한다.
• 공동 확률 분포는 혼합 구성 요소와 클래스 조건부 특징 분포를 사용하여 정의되며, 클래스 변수에 대해 NB 구조를 유지한다.
• 최종 분류기는 전체 모델 기반으로 최대 사후 확률(MAP) 결정 규칙을 사용하여 클래스 예측을 수행한다.

실험 결과

연구 질문

• RQ1 유한 혼합 모델을 나이브 베이즈와 융합하면 실제 데이터셋에서 분류 정확도를 향상시킬 수 있는가?
• RQ2 제안된 하이브리드 모델은 나이브 베이즈나 유한 혼합 모델 단독으로 사용할 때보다 예측 확률을 더 잘 캘리브레이션하는가?
• RQ3 예측 성능 측면에서 기준 분류기들과 비교해 볼 때 제안된 모델은 어떻게 성능을 내는가?
• RQ4 특징의 혼합 모델링이 나이브 베이즈의 조건부 독립 가정을 어느 정도 완화하는가?
• RQ5 제안된 모델은 실제 분류 문제에 대해 계산적으로 타당하고 확장 가능한가?

주요 결과

• 제안된 하이브리드 분류기는 여러 실제 데이터셋에서 나이브 베이즈와 유한 혼합 모델보다 높은 분류 정확도를 달성했다.
• 나이브 베이즈는 종종 과신한 추정을 내놓기 때문에, 모델은 나이브 베이즈보다 예측 확률의 캘리브레이션이 유의미하게 향상되었다.
• 유한 혼합 구성 요소의 구조는 복잡한 특징 분포를 효과적으로 포착하여 나이브 베이즈의 조건부 독립 가정 위반 영향을 줄였다.
• EM 기반 학습 절차 덕분에 잠재된 혼합 구조가 존재하더라도 효과적인 파라미터 추정이 가능했다.
• 베이지안 네트워크의 모듈러 구조 덕분에 계산 효율성이 유지되어 확장성이 확보되었다.
• UAI 1999 논문집의 실증 결과는 하이브리드 모델이 정확도와 확률 캘리브레이션 모두에서 열등함을 확인했다.