[논문 리뷰] Embedded Bayesian Network Classifiers

David Heckerman, Christopher Meek|arXiv (Cornell University)|2019. 10. 22.

Bayesian Modeling and Causal Inference참고 문헌 8인용 수 16

한 줄 요약

이 논문은 임bedded Bayesian network classifiers(EBNCs)라는 새로운 확률적 모델을 소개한다. EBNCs는 기존 Bayesian network classifiers를 확장하여, 노드의 조건부 확률 분포가 원본 모델과 다를 수 있는 다른 Bayesian network에서 유도될 수 있도록 허용한다. EBNCs는 효율적인 매개수 학습과 구조 탐색을 가능하게 하는 softmax 다항 회귀 모델과 동치임이 입증되었으나, 실용적 유용성은 아직 경험적으로 검증되지 않았다.

ABSTRACT

Low-dimensional probability models for local distribution functions in a Bayesian network include decision trees, decision graphs, and causal independence models. We describe a new probability model for discrete Bayesian networks, which we call an embedded Bayesian network classifier or EBNC. The model for a node $Y$ given parents $\bf X$ is obtained from a (usually different) Bayesian network for $Y$ and $\bf X$ in which $\bf X$ need not be the parents of $Y$. We show that an EBNC is a special case of a softmax polynomial regression model. Also, we show how to identify a non-redundant set of parameters for an EBNC, and describe an asymptotic approximation for learning the structure of Bayesian networks that contain EBNCs. Unlike the decision tree, decision graph, and causal independence models, we are unaware of a semantic justification for the use of these models. Experiments are needed to determine whether the models presented in this paper are useful in practice.

연구 동기 및 목표

• 기존 Bayesian network classifiers를 일반화하는 새로운 분류용 확률적 모델의 개발.
• 결정 트리 및 인과적 독립 모델과 같은 기존 저차원 모델에 대한 의미론적 정당성 부족 문제 해결.
• Bayesian network의 구조를 분류 모델에 통합하는 공식적 프레임워크 제안으로, 탄력적이고 중복 없는 매개수 정규화 가능.
• EBNCs와 softmax 다항 회귀 간 이론적 연결 고리 확립을 통한 학습 및 추론 지원.

제안 방법

• EBNC 모델은 타겟 노드 Y의 조건부 확률을, Y의 부모 노드 X가 원본 모델과 다를 수 있는 별도의 Bayesian network에서 유도함.
• 수학적으로 EBNC는 분석적 접근이 가능한 softmax 다항 회귀 모델의 특수한 경우로 공식화됨.
• EBNC 구조 내 중복 매개수를 식별하고 제거함으로써 중복 없는 매개수 정규화를 도출함.
• EBNC를 포함하는 Bayesian network의 구조 학습을 위한 渐近적 근사 방법을 제안하여 확장 가능한 구조 탐색을 가능하게 함.

실험 결과

연구 질문

• RQ1 타겟 노드의 조건부 확률 모델이 분류기에서의 부모 변수와 다를 수 있는 다른 네트워크에서 유도될 수 있는 Bayesian network 분류기가 구성될 수 있는가?
• RQ2 EBNCs와 softmax 다항 회귀 모델과 같은 기존 모델 간의 수학적 관계는 무엇인가?
• RQ3 EBNC의 효율적 학습을 보장하기 위해 중복 없는 매개수 집합을 어떻게 식별할 수 있는가?
• RQ4 EBNC를 포함하는 Bayesian network에 적용된 구조 학습 알고리즘의 渐近적 행동은 어떠한가?

주요 결과

• EBNCs가 수학적으로 softmax 다항 회귀 모델의 특수한 경우임이 엄밀히 증명되어, 이들의 사용에 대한 강력한 이론적 기반 제공.
• EBNCs의 중복 없는 매개수 정규화가 유도되어, 중복 매개수로 인한 과적합을 방지함.
• EBNC를 포함하는 Bayesian network의 구조 학습을 위한 渐近적 근사 방법이 개발되어 확장 가능한 구조 탐색 가능.
• 이론적 기반은 확보되었지만, 논문은 EBNCs에 대한 의미론적 정당성이 부족하다고 인정하며 실용적 유용성을 평가하기 위한 경험적 검증을 촉구함.