[논문 리뷰] Learning Optimal Augmented Bayes Networks

Vikas Hamine, Paul Helman|ArXiv.org|2005. 09. 19.

Bayesian Modeling and Causal Inference참고 문헌 5인용 수 4

한 줄 요약

이 논문은 최소 기술 길이(MDL) 점수에 대해 최적의 증강 베이즈 네트워크(ABN)를 학습하는 다항 시간 내의 근사 알고리즘을 제안한다. 속성 간 의존성의 비용 가중 무방향 그래프를 구성하고, 임계값 이하의 간선을 제거한 후, 각 연결 요소에 대해 크루스칼의 알고리즘을 적용하여 최대 스펜딩 트리를 찾는 방식으로, 최적성과 함께 TAN 구조를 일반화하여 숲 구조의 증강 간선을 허용한다.

ABSTRACT

Naive Bayes is a simple Bayesian classifier with strong independence assumptions among the attributes. This classifier, desipte its strong independence assumptions, often performs well in practice. It is believed that relaxing the independence assumptions of a naive Bayes classifier may improve the classification accuracy of the resulting structure. While finding an optimal unconstrained Bayesian Network (for most any reasonable scoring measure) is an NP-hard problem, it is possible to learn in polynomial time optimal networks obeying various structural restrictions. Several authors have examined the possibilities of adding augmenting arcs between attributes of a Naive Bayes classifier. Friedman, Geiger and Goldszmidt define the TAN structure in which the augmenting arcs form a tree on the attributes, and present a polynomial time algorithm that learns an optimal TAN with respect to MDL score. Keogh and Pazzani define Augmented Bayes Networks in which the augmenting arcs form a forest on the attributes (a collection of trees, hence a relaxation of the stuctural restriction of TAN), and present heuristic search methods for learning good, though not optimal, augmenting arc sets. The authors, however, evaluate the learned structure only in terms of observed misclassification error and not against a scoring metric, such as MDL. In this paper, we present a simple, polynomial time greedy algorithm for learning an optimal Augmented Bayes Network with respect to MDL score.

연구 동기 및 목표

• 속성 간 조건부 독립성을 가정하는 나이브 베이즈 분류기의 한계를 해결하기 위해, 증강 간선을 통해 이 가정을 완화하고자 한다.
• MDL 점수 기준에서 최적의 ABN—클래스 속성 및 속성 간 의존성이 있는 베이즈 네트워크—를 학습하는 계산적으로 효율적인 방법을 개발하고자 한다.
• 증강 간선에 대해 나무 구조를 강제로 적용하는 TAN 구조를 일반화하여 숲 구조의 증강 간선을 허용함으로써 모델의 유연성을 높이고자 한다.
• 제안된 알고리즘이 MDL 점수에 대해 최적의 ABN 구조를 생성함을 증명하고, 부분 최적 해를 유도하는 히وري스틱 검색 방법을 피하고자 한다.

제안 방법

• 모든 속성(클래스 제외)에 대해 완전한 무방향 그래프를 구성하며, 각 간선은 잠재적인 증강 간선을 나타낸다.
• 각 간선 $ (i,j) $에 대해 조건부 상호정보량 $ I(X_i; X_j|C) $ 를 계산하고, 이를 간선의 비용으로 사용하여 의존성 강도를 반영한다.
• 비용이 임계값 $ T_R = \frac{||C||(||X_i||-1)(||X_j||-1)}{2N}\log N $ 이하인 모든 간선을 제거하여, 점수 향상에 기여하는 간선만 유지한다.
• 제거된 그래프의 각 연결 요소에 대해 크루스칼의 최대 스펜딩 트리 알고리즘을 별도로 적용하여 최대비용 숲을 형성한다.
• 각 트리의 모든 간선을 선택한 루트에서 멀어지도록 방향화하여 유향 사이클 없는 그래프(DAG)를 형성하며, ABN의 구조를 유지한다.
• 클래스 노드 $ C $ 를 모든 속성의 부모로 연결하여, 유효한 부모 제약 조건을 갖는 ABN 구조를 완성한다.

실험 결과

연구 질문

• RQ1 MDL 점수 기준에서 숲 구조의 증강 간선을 允허할 경우에도 최적의 ABN 구조를 다항 시간 내에 학습할 수 있는가?
• RQ2 전체 MDL 점수를 감소시키는 데 기여하는 증강 간선 추가의 임계 조건은 무엇인가?
• RQ3 제안된 알고리즘이 최적성과 계산 효율성을 유지하면서 TAN 구조를 어떻게 일반화하는가?
• RQ4 알고리즘의 출력이 MDL 점수에 대해 전역적으로 최적임을 증명할 수 있는가?
• RQ5 이전 연구에서 사용된 히وري스틱 검색 방법으로 인해 발생하는 부분 최적 해를 피할 수 있는가?

주요 결과

• 제안된 알고리즘은 임계값 처리 단계에서 제거된 간선을 포함할 수 없는 최적의 ABN이 존재할 수 없음을 증명함으로써, MDL 점수에 대해 최적의 ABN 구조를 생성함을 입증한다.
• 임계값 $ T_R $ 는 비용이 $ T_R $ 초과인 간선을 추가할 경우, 방향에 관계없이 정보 수득과 파라미터 비용 간 균형을 고려할 때 전체 MDL 점수를 감소시킴을 보장하도록 유도되었다.
• 알고리즘은 TAN 방법을 숲 구조의 트리 집합으로 일반화함으로써 최적성은 유지하면서 모델의 유연성을 높였다.
• 제거된 그래프가 연결되어 있는 경우 알고리즘은 TAN 알고리즘으로 축소되며, 이는 특수 케이스임을 확인한다.
• 연결 요소에 대해 크루스칼 알고리즘을 적용함으로써 각 요소에서 최대의 총 의존성 정보를 포착할 수 있으며, 이는 MDL 점수의 두 번째 항을 최대화한다.
• 알고리즘이 다항 시간 내에 실행되어, 일반적으로 NP-난이도인 최적의 구조 학습에 대해 실용적이고 확장 가능한 성능을 제공한다.