[논문 리뷰] Bayesian Network Classifiers in a High Dimensional Framework

Tatjana Pavlenko, Dietrich von Rosen|arXiv (Cornell University)|2012. 12. 12.

Bayesian Modeling and Causal Inference참고 문헌 16인용 수 4

한 줄 요약

이 논문은 고차원 점점 증가하는 점근적 프레임워크를 제안하여 베이지안 네트워크 분류기의 성능을 분석하며, 그들의 판별 함수가 일반화된 가산 모델의 특수한 경우임을 보여주고, 이로 인해 점근적 오분류 확률을 닫힌 형태로 도출할 수 있다. 또한 특징 집합의 분류 능력에 기반해 가중치를 최적화하는 가중치 부여된 확장된 나이브 베이지안 분류기를 제안하며, 고차원에서의 이 능력의 과대평가를 보정함으로써 오분류를 최소화한다.

ABSTRACT

We present a growing dimension asymptotic formalism. The perspective in this paper is classification theory and we show that it can accommodate probabilistic networks classifiers, including naive Bayes model and its augmented version. When represented as a Bayesian network these classifiers have an important advantage: The corresponding discriminant function turns out to be a specialized case of a generalized additive model, which makes it possible to get closed form expressions for the asymptotic misclassification probabilities used here as a measure of classification accuracy. Moreover, in this paper we propose a new quantity for assessing the discriminative power of a set of features which is then used to elaborate the augmented naive Bayes classifier. The result is a weighted form of the augmented naive Bayes that distributes weights among the sets of features according to their discriminative power. We derive the asymptotic distribution of the sample based discriminative power and show that it is seriously overestimated in a high dimensional case. We then apply this result to find the optimal, in a sense of minimum misclassification probability, type of weighting.

연구 동기 및 목표

• 고차원 환경에서 베이지안 네트워크 분류기를 평가하기 위한 점점 증가하는 차원의 점근적 프레임워크를 개발하는 것.
• 분석적 유연성을 확보하기 위해 베이지안 네트워크 분류기와 일반화된 가산 모델 간의 관계를 체계화하는 것.
• 분류기 설계를 안내하기 위한 특징 집합의 분류 능력 측정 기준을 제안하는 것.
• 고차원 데이터에서 분류 능력의 과대평가를 수정하는 것.
• 점근적 오분류 확률을 최소화하는 확장된 나이브 베이지안 분류기의 최적 가중치 부여 방식을 도출하는 것.

제안 방법

• 표본 크기와 특징 차원이 고정된 비율을 유지하면서 점점 증가하는 차원의 점근적 수학적 기법을 채택한다.
• 베이지안 네트워크 분류기를 일반화된 가산 모델로 표현하여 점근적 오분류 확률에 대한 닫힌 형태의 표현식을 유도한다.
• 분류 정확도에 대한 특징 부분집합의 기여도를 기반으로 한 분류 능력 측정 기준을 도입한다.
• 표본 기반의 분류 능력 추정기의 점근적 분포를 유도하여 고차원에서의 편향을 정량화한다.
• 특징 집합의 추정된 분류 능력에 따라 가중치를 할당하는 가중치 부여된 확장된 나이브 베이지안 분류기를 제안한다.
• 고차원에서의 과대평가를 고려하여 오분류 확률의 점근적 최소화를 위한 가중치 부여 방식을 최적화한다.

실험 결과

연구 질문

• RQ1 특징 차원이 점점 증가하는 고차원 점근적 프레임워크에서 베이지안 네트워크 분류기는 어떻게 분석될 수 있는가?
• RQ2 판별 함수 관점에서 베이지안 네트워크 분류기와 일반화된 가산 모델 간의 관계는 무엇인가?
• RQ3 특징 집합의 분류 능력은 어떻게 추정되며, 고차원 설정에서의 점근적 행동은 어떠한가?
• RQ4 표본 기반의 분류 능력은 왜 고차원 데이터에서 과대평가되는가? 그리고 이러한 편향은 어떻게 보정할 수 있는가?
• RQ5 확장된 나이브 베이지안 분류기에서 점근적 오분류 확률을 최소화하는 최적의 가중치 부여 방식은 무엇인가?

주요 결과

• 베이지안 네트워크 분류기의 판별 함수는 일반화된 가산 모델의 특수한 경우이며, 이로 인해 점근적 오분류 확률의 닫힌 형태 표현식을 도출할 수 있다.
• 제안된 분류 능력 측정 기준은 특징 부분집합이 분류 성능에 기여하는 정도를 체계적으로 평가할 수 있는 방법을 제공한다.
• 고차원 설정에서는 점점 증가하는 차원의 점근적 기법으로 인해 표본 기반의 분류 능력 추정치가 체계적으로 과대평가된다.
• 분류 능력 추정기의 점근적 분포를 유도하여 고차원에서의 편향의 성격과 크기를 규명하였다.
• 확장된 나이브 베이지안 분류기의 최적 가중치 부여 방식은 특징 집합의 분류 능력 과대평가를 고려하여 오분류 확률을 최소화한다.
• 결과적으로, 더 높은 분류 능력을 가진 특징 집합을 적절한 가중치로 우선순위를 부여함으로써, 가중치 부여된 확장된 나이브 베이지안 분류기는 향상된 분류 정확도를 달성한다.