[논문 리뷰] Estimating Continuous Distributions in Bayesian Classifiers

George H. John, Pat Langley|arXiv (Cornell University)|2013. 02. 20.

Bayesian Modeling and Causal Inference참고 문헌 21인용 수 2,918

한 줄 요약

본 논문은 베이지안 분류기에서 연속 변수에 대한 비모수적 밀도 추정법을 조사하고, kernel density estimation이 Gaussian 가정보다 우수할 수 있음을 보인다. 다양한 도메인에 걸친 실험 결과를 통해 오차 감소를 보여준다.

ABSTRACT

When modeling a probability distribution with a Bayesian network, we are faced with the problem of how to handle continuous variables. Most previous work has either solved the problem by discretizing, or assumed that the data are generated by a single Gaussian. In this paper we abandon the normality assumption and instead use statistical methods for nonparametric density estimation. For a naive Bayesian classifier, we present experimental results on a variety of natural and artificial domains, comparing two methods of density estimation: assuming normality and modeling each conditional distribution with a single Gaussian; and using nonparametric kernel density estimation. We observe large reductions in error on several natural and artificial data sets, which suggests that kernel estimation is a useful tool for learning Bayesian models.

연구 동기 및 목표

• Normality를 가정하지 않고 베이지안 네트워크에서 연속 변수를 모델링하는 도전 과제를 동기화한다.
• 연 discretization 또는 단일 Gaussian 모델에 대한 대안으로서 비모수적 밀도 추정의 평가를 수행한다.
• 다양한 도메인에서 커널 밀도 추정이 분류기 정확도에 미치는 영향을 평가한다.

제안 방법

• 두 가지 밀도 추정 방법을 조건부 분포에 대해 비교한다: (i) 조건부별로 하나의 Gaussian를 가정하는 정상성 가정, (ii) 비모수적 커널 밀도 추정.
• 이 방법들을 나이브 베이즈 분류기 프레임워크 내에서 적용한다.
• 자연 데이터 세트와 인공 데이터 세트에 대해 실험적으로 평가한다.
• 두 접근법 간의 분류 오차 감소를 분석하고 비교한다.

실험 결과

연구 질문

• RQ1 커널 밀도 추정이 베이지안 분류기에서 Gaussian 가정보다 분류 정확도를 향상시키는가?
• RQ2 비모수적 밀도 추정이 서로 다른 자연 및 인공 도메인에서 어떻게 수행되는가?
• RQ3 연속 변수를 학습하는 베이지안 모델에 커널 방법이 제공하는 실용적 이점은 무엇인가?

주요 결과

• Kernel density estimation은 여러 데이터 세트에서 오차를 크게 감소시킨다.
• 다층 비모수적 밀도 추정은 베이지안 분류기에서 단일 Gaussian 접근법보다 우수한 성능을 보일 수 있다.
• 결과는 커널 기반 학습이 베이지안 네트워크에서 연속 분포를 모델링하는 데 유용한 도구임을 시사한다.