[논문 리뷰] Bayes and Naive Bayes Classifier

Vikramkumar, B. Vijaykumar외 1명|arXiv (Cornell University)|2014. 04. 03.

Bayesian Modeling and Causal Inference참고 문헌 4인용 수 37

한 줄 요약

이 논문은 베이지안 및 나이브 베이지안 분류기의 포괄적인 개요를 제시한다. 이는 베이즈 정리에 뿌리를 두고 있는 확률론적 지도 학습 방법이다. 이 분류기들은 사전 지식과 관측된 데이터를 사용하여 가설에 대한 명시적 확률을 계산함으로써 오분류 위험을 최소화하고 노이즈가 있는 입력 데이터에 대해 강건함을 보여준다.

ABSTRACT

The Bayesian Classification represents a supervised learning method as well as a statistical method for classification. Assumes an underlying probabilistic model and it allows us to capture uncertainty about the model in a principled way by determining probabilities of the outcomes. This Classification is named after Thomas Bayes (1702-1761), who proposed the Bayes Theorem. Bayesian classification provides practical learning algorithms and prior knowledge and observed data can be combined. Bayesian Classification provides a useful perspective for understanding and evaluating many learning algorithms. It calculates explicit probabilities for hypothesis and it is robust to noise in input data. In statistical classification the Bayes classifier minimises the probability of misclassification. That was a visual intuition for a simple case of the Bayes classifier, also called: 1)Idiot Bayes 2)Naive Bayes 3)Simple Bayes

연구 동기 및 목표

• 베이즈 정리에 기반한 베이지안 분류의 이론적 기초를 설명하고 지도 학습에서의 응용을 제시한다.
• 사전 지식과 관측된 데이터를 조합하여 분류 성능을 향상시킬 수 있는 방법을 보여준다.
• 입력 데이터의 노이즈에 대해 베이지안 분류기가 강건함을 강조한다.
• 일반 베이지안 분류기와 단순화된 나이브 베이지안 변종 간의 관계를 명확히 한다.
• 확률론적 시각을 통해 다양한 학습 알고리즘을 이해하고 평가할 수 있는 원칙적인 프레임워크를 제공한다.

제안 방법

• 관측된 데이터가 주어졌을 때 가설의 사후 확률을 계산하기 위해 베이즈 정리를 적용한다.
• 나이브 베이지안 모델에서 조건부 독립성을 가정하여 계산을 단순화한다.
• 각 클래스에 대한 명시적 확률 추정을 사용하여 분류 결정을 내린다.
• 사후 확률이 가장 높은 클래스를 선택하여 오분류 확률을 최소화한다.
• 사전 지식과 경험적 데이터를 융합하여 불확실성 모델링을 위한 원칙적인 접근법을 형성한다.
• 모델 파라미터의 불확실성을 확률 분포를 통해 포착하는 통계적 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 베이즈 정리는 어떻게 분류를 위한 원칙적인 확률론적 프레임워크를 구축하는 데 응용될 수 있는가?
• RQ2 분류 작업에서 사전 지식과 관측된 데이터를 조합하는 데 있는 이점은 무엇인가?
• RQ3 나이브 베이지안에서 특징의 독립성 가정은 분류 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ4 베이즈 분류기는 오분류 확률을 어떻게 최소화하는가?
• RQ5 베이지안 접근법은 다른 학습 알고리즘을 이해하고 평가하는 데 어떻게 유용한 시각을 제공하는가?

주요 결과

• 베이즈 분류기는 사후 확률이 가장 높은 클래스를 선택함으로써 오분류 확률을 최소화한다.
• 나이브 베이지안은 클래스 조건 하에서 특징의 조건부 독립성을 가정하는 베이지안 분류의 실용적 구현이다.
• 불확실성에 대한 확률론적 처리 덕분에 입력 데이터의 노이즈에 강건하다.
• 베이지안 분류는 사전 지식과 관측된 데이터를 원칙적으로 통합할 수 있다.
• 가설에 대한 명시적 확률을 제공함으로써 더 나은 해석 가능성과 불확실성 정량화를 가능하게 한다.
• 베이지안 분류의 이론적 기초는 다양한 학습 알고리즘을 분석하고 평가하는 데 도움이 되는 유용한 시각을 제공한다.