[논문 리뷰] Exact Maximum Margin Structure Learning of Bayesian Networks

Robert Peharz, Franz Pernkopf|arXiv (Cornell University)|2012. 06. 27.

Bayesian Modeling and Causal Inference참고 문헌 24인용 수 5

한 줄 요약

이 논문은 확률적 소프트 마진이라는 판별 점수를 최대화하는 베이지안 네트워크 구조를 학습하기 위해 선형 프로그래밍 프레임워크 내에서 정확한 분할 정복 방법을 제안한다. 순서 제약 조건을 통해 사이클이 없는 구조를 강제함으로써, anytime 솔루션과 부분 최적화 경계를 제공하는 정확한 최적화를 가능하게 하여, 생성적 방법을 능가하고 분류 과제에서 서포트 벡터 머신과 경쟁하는 성능을 보인다.

ABSTRACT

Recently, there has been much interest in finding globally optimal Bayesian network structures. These techniques were developed for generative scores and can not be directly extended to discriminative scores, as desired for classification. In this paper, we propose an exact method for finding network structures maximizing the probabilistic soft margin, a successfully applied discriminative score. Our method is based on branch-and-bound techniques within a linear programming framework and maintains an any-time solution, together with worst-case sub-optimality bounds. We apply a set of order constraints for enforcing the network structure to be acyclic, which allows a compact problem representation and the use of general-purpose optimization techniques. In classification experiments, our methods clearly outperform generatively trained network structures and compete with support vector machines.

연구 동기 및 목표

• 판별 점수, 특히 확률적 소프트 마진을 최대화하는 베이지안 네트워크 구조를 정확하게 학습하는 방법을 개발하기 위해.
• 기존의 전역 최적 방법은 생성적 점수에 국한되어 있으며 판별 학습에 직접 적용될 수 없다는 한계를 극복하기 위해.
• 최적화 과정에서 언제라도 해를 제공하고 worst-case 부분 최적화 경계를 유지하기 위해.
• 순서 제약 조건을 통해 사이클을 강제함으로써 효율적인 문제 표현을 가능하게 하여 효율적인 최적화를 가능하게 하기 위해.
• 판별적으로 훈련된 베이지안 네트워크가 서포트 벡터 머신과 같은 최신 기술 모델과 비슷하거나 뛰어난 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 선형 프로그래밍과 통합된 분할 정복 프레임워크를 사용하여 확률적 소프트 마진 점수를 최적화한다.
• 노드 변수에 대한 순서 제약 조건을 통해 순환 없는 네트워크 구조를 강제함으로써, 문제 표현을 간결하고 효율적으로 만들 수 있다.
• 최적화 과정에서 언제라도 타당한 해를 제공하고, 보장된 worst-case 부분 최적화 경계를 제공하는 anytime 솔루션을 유지한다.
• 혼합정수선형계획문제로 재구성함으로써 일반 목적 최적화 기법을 활용한다.
• 일반적으로 표준 생성적 방법으로 정확한 해를 구하기 어려운 판별 점수의 전역 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 베이지안 네트워크에서 판별 점수, 특히 확률적 소프트 마진에 대해 정확한 구조 학습이 가능할 수 있는가?
• RQ2 일반 목적 솔버를 사용한 정확한 최적화를 가능하게 하기 위해 순환 제약 조건을 어떻게 효율적으로 표현할 수 있는가?
• RQ3 판별적으로 훈련된 베이지안 네트워크의 성능은 생성적 대안과 서포트 벡터 머신과 비교해 어떻게 되는가?
• RQ4 제안된 방법은 최적화 과정에서 anytime 솔루션과 부분 최적화 보장을 제공할 수 있는가?
• RQ5 선형 프로그래밍과 분할 정복을 사용하여 판별 점수 기반으로 전역 최적의 베이지안 네트워크 구조를 도출하는 것은 실현 가능한가?

주요 결과

• 제안된 방법은 판별 기준인 확률적 소프트 마진 점수 기반으로 베이지안 네트워크 구조의 정확한 전역 최적화를 달성한다.
• 분류 실험 결과, 판별적으로 훈련된 네트워크가 생성적으로 훈련된 베이지안 네트워크보다 유의미하게 뛰어난 성능을 보였다.
• 이 방법의 성능은 서포트 벡터 머신과 경쟁 가능했으며, 정확한 판별적 구조 학습의 실현 가능성을 입증했다.
• 순서 제약 조건의 사용은 간결한 수식 표현과 표준 최적화 솔버와의 효율적 통합을 가능하게 했다.
• 알고리즘은 증명 가능한 worst-case 부분 최적화 경계를 제공하는 anytime 솔루션을 제공하여 실용성 향상에 기여했다.