[논문 리뷰] Classifier Learning with Supervised Marginal Likelihood

Petri Kontkanen, Petri Myllymäki외 1명|arXiv (Cornell University)|2013. 01. 10.

Bayesian Modeling and Causal Inference참고 문헌 13인용 수 17

한 줄 요약

이 논문은 진단 모델에서 예측 변수가 적은 경우 선형 시간 내에 계산할 수 있는 지도 학습된 경계 우도를 베이지안 네트워크 분류기의 모델 선택 기준으로 제안한다. 이 방법은 조건부 분포를 활용하여 고성능의 분류기를 효율적으로 학습할 수 있게 하여, 표준 경계 우도와 나이브 베이즈보다 특정 설정에서 더 우수한 성능을 발휘한다.

ABSTRACT

It has been argued that in supervised classification tasks, in practice it may be more sensible to perform model selection with respect to some more focused model selection score, like the supervised (conditional) marginal likelihood, than with respect to the standard marginal likelihood criterion. However, for most Bayesian network models, computing the supervised marginal likelihood score takes exponential time with respect to the amount of observed data. In this paper, we consider diagnostic Bayesian network classifiers where the significant model parameters represent conditional distributions for the class variable, given the values of the predictor variables, in which case the supervised marginal likelihood can be computed in linear time with respect to the data. As the number of model parameters grows in this case exponentially with respect to the number of predictors, we focus on simple diagnostic models where the number of relevant predictors is small, and suggest two approaches for applying this type of models in classification. The first approach is based on mixtures of simple diagnostic models, while in the second approach we apply the small predictor sets of the simple diagnostic models for augmenting the Naive Bayes classifier.

연구 동기 및 목표

• 표준 경계 우도의 한계를 해결하기 위해 보다 집중적인 모델 선택 기준을 제안하는 것.
• 진단 베이지안 네트워크 분류기에서 지각 학습된 경계 우도가 효율적으로 계산될 수 있음을 보여주는 것.
• 예측 변수가 적은 단순 진단 모델을 활용하여 분류 성능을 향상시키기 위한 실용적인 방법을 개발하는 것.
• 제안된 방법을 나이브 베이즈 및 표준 경계 우도와 같은 기존 방법과 비교하는 것.

제안 방법

• 논문은 클래스 변수가 소수의 예측 변수에 의존하는 진단 베이지안 네트워크 분류기에 초점을 맞춘다.
• 이러한 모델의 구조를 활용하여 데이터 크기와 비례하는 선형 시간 내에 지각 학습된 경계 우도를 계산한다.
• 두 가지 분류 전략이 제안된다: 단순 진단 구조에 대한 혼합 모델과 특정 예측 변수 집합을 추가한 나이브 베이즈의 확장.
• 선택된 예측 변수 집합에 대한 베이지안 모델 평균화를 사용하여 일반화 성능을 향상시킨다.
• 지각 학습된 경계 우도는 관측된 데이터와 클래스 레이블을 고려한 모델 파라미터에 대해 통합된 조건부 경계 우도로 유도된다.

실험 결과

연구 질문

• RQ1 진단 베이지안 네트워크 분류기에서 지각 학습된 경계 우도를 효율적으로 계산할 수 있는가?
• RQ2 지각 학습된 경계 우도를 사용하면 표준 경계 우도 또는 나이브 베이즈보다 더 우수한 분류 성능를 얻을 수 있는가?
• RQ3 예측 변수가 적은 단순 진단 모델을 효과적으로 조합하거나 확장하여 분류 정확도를 향상시킬 수 있는가?
• RQ4 지각 학습된 경계 우도의 계산 비용은 실용적인 분류 작업에 있어 타당한가?

주요 결과

• 지각 학습된 경계 우도 점수는 진단 베이지안 네트워크 분류기에서 선형 시간 내에 계산될 수 있어 계산적으로 타당하다.
• 제안된 방법은 벤치마크 데이터셋에서 표준 경계 우도와 나이브 베이즈보다 분류 정확도 측면에서 뛰어난 성능을 보였다.
• 단순 진단 구조에 대한 혼합 모델은 여러 개의 저차원 예측 변수 집합을 효과적으로 조합하는 데에 매우 융통성 있는 방법을 제공한다.
• 진단 모델에서 선택된 예측 변수 집합을 추가한 나기브 베이즈의 확장은 복잡도를 크게 증가시키지 않으면서 성능 향상을 이룬다.