[논문 리뷰] Reasoning about Bayesian Network Classifiers

Hei Chan, Adnan Darwiche|arXiv (Cornell University)|2012. 10. 19.

Bayesian Modeling and Causal Inference참고 문헌 8인용 수 33

한 줄 요약

이 논문은 나이브 베이즈 분류기를 순서 기반 결함도형(Ordered Decision Diagram, ODD)으로 변환하는 방법을 제안하여, 그 성질에 대한 효율적인 추론을 가능하게 한다. 이 방법은 분류기 동치성, 이질성 특성 분석, CPT 민감도 분석을 가능하게 하며, 이론적 및 실험적 검증을 통해 큰 크기의 인스턴스에 대해서도 압축된 ODD 표현을 제공함을 보여준다.

ABSTRACT

Bayesian network classifiers are used in many fields, and one common class of classifiers are naive Bayes classifiers. In this paper, we introduce an approach for reasoning about Bayesian network classifiers in which we explicitly convert them into Ordered Decision Diagrams (ODDs), which are then used to reason about the properties of these classifiers. Specifically, we present an algorithm for converting any naive Bayes classifier into an ODD, and we show theoretically and experimentally that this algorithm can give us an ODD that is tractable in size even given an intractable number of instances. Since ODDs are tractable representations of classifiers, our algorithm allows us to efficiently test the equivalence of two naive Bayes classifiers and characterize discrepancies between them. We also show a number of additional results including a count of distinct classifiers that can be induced by changing some CPT in a naive Bayes classifier, and the range of allowable changes to a CPT which keeps the current classifier unchanged.

연구 동기 및 목표

• 베이지안 네트워크 분류기의 구조적 및 확률적 성질에 대한 효율적 추론을 가능하게 하기 위해.
• 직접 계산이 불가능한 대규모 나이브 베이즈 분류기 분석의 과제를 해결하기 위해.
• ODD를 사용하여 분류기 비교 및 민감도 분석을 위한 다루기 쉬운 표현을 제공하기 위해.
• 조건부 확률 표(CPT)를 수정함으로써 생성 가능한 서로 다른 분류기의 수를 특성화하기 위해.
• 분류기의 출력을 그대로 유지하는 CPT 변경의 범위를 결정하기 위해.

제안 방법

• 모든 나이브 베이즈 분류기를 순서 기반 결함도형(ODD)으로 변환하는 알고리즘을 제안한다.
• ODD 표현을 활용하여 이질적인 분류기들에 대해 다항식 시간 내의 추론을 가능하게 한다.
• 파rameter 변화에 따른 분류기 행동 분석을 위해 CPT의 기호적 조작을 활용한다.
• 두 나이브 베이즈 분류기 간의 동치성 테스트를 효율적으로 수행하기 위해 ODD 기반 기법을 적용한다.
• CPT 수정에 의해 유도되는 서로 다른 분류기의 수를 ODD 분석을 통해 계산한다.
• ODD 기반 민감도 분 析을 통해 분류기의 출력을 유지하는 CPT 변경의 범위를 유도한다.

실험 결과

연구 질문

• RQ1 압축된 기호적 표현을 사용하여 나이브 베이즈 분류기의 동치성 분석을 효율적으로 수행할 수 있는가?
• RQ2 나이브 베이즈 모델에서 단일 CPT를 수정함으로써 생성할 수 있는 서로 다른 분류기의 수는 얼마인가?
• RQ3 분류기의 출력을 변화시키지 않는 CPT 매개변수 변경의 범위는 무엇인가?
• RQ4 두 나이브 베이즈 분류기 간의 이질성을 체계적으로 특성화할 수 있는가?
• RQ5 ODD는 대규모 또는 복잡한 나이브 베이즈 분류기의 추론을 위한 다루기 쉬운 표현을 제공할 수 있는가?

주요 결과

• 제안된 ODD 변환 알고리즘은 인스턴스 수가 이질적인 나이브 베이즈 분류기들에 대해서도 압축된 표현을 생성한다.
• ODD 기반 기호적 계산을 통해 두 나이브 베이즈 분류기 간의 동치성 테스트를 효율적으로 수행할 수 있다.
• 단일 CPT를 변경함으로써 생성되는 서로 다른 분류기의 수는 유한하고, ODD 분석을 통해 계산 가능하다.
• 분류기의 출력을 변화시키지 않는 CPT 매개변수 변경의 범위를 식별할 수 있으며, 이는 강건성 분석을 가능하게 한다.
• ODD 기반 비교를 통해 두 분류기 간의 이질성을 체계적으로 특성화할 수 있다.
• 이론적 및 실험적 결과는 ODD가 베이지안 네트워크 분류기의 추론을 위한 다루기 쉬운 확장 가능한 프레임워크를 제공함을 확인한다.