[논문 리뷰] The Bayesian Structural EM Algorithm

Nir Friedman|arXiv (Cornell University)|2013. 01. 30.

Bayesian Modeling and Causal Inference참고 문헌 22인용 수 516

한 줄 요약

이 논문은 완전하지 않은 데이터로부터 베이지안 네트워크 구조를 학습하기 위해 베이지안 모델 선택을 구조적 EM 프레임워크와 통합한 새로운 방법인 베이지안 구조적 EM 알고리즘을 제안한다. 기대최대화(EM)를 통한 매개변수 추정과 베이지안 점수를 사용한 점수 기반의 구조 탐색을 결합함으로써, 알고리즘은 수렴성을 보장하고 빈도나 숨겨진 변수가 존재하는 경우에도 효과적인 확률 모델 학습을 가능하게 한다.

ABSTRACT

In recent years there has been a flurry of works on learning Bayesian networks from data. One of the hard problems in this area is how to effectively learn the structure of a belief network from incomplete data- that is, in the presence of missing values or hidden variables. In a recent paper, I introduced an algorithm called Structural EM that combines the standard Expectation Maximization (EM) algorithm, which optimizes parameters, with structure search for model selection. That algorithm learns networks based on penalized likelihood scores, which include the BIC/MDL score and various approximations to the Bayesian score. In this paper, I extend Structural EM to deal directly with Bayesian model selection. I prove the convergence of the resulting algorithm and show how to apply it for learning a large class of probabilistic models, including Bayesian networks and some variants thereof.

연구 동기 및 목표

• 결측치 또는 은닉 변수가 존재하는 데이터로부터 베이지안 네트워크의 구조를 학습하는 데 도전 과제를 해결한다.
• 패널티가 부여된 최대우도(예: BIC/MDL)에 의존하는 전통적인 점수 기반 방법의 한계를 극복하며, 모델 선택 시 사전 지식을 보다 충분히 반영한다.
• 매개변수 학습(EM을 통한)과 완전한 베이지안 점수 기반의 구조 학습을 통합한 통합 프레임워크를 개발한다.
• 은닉 변수 존재 시 학습 과정의 이론적 수렴성을 확보한다.
• 표준 베이지안 네트워크를 초월해 더 넓은 범주에 속하는 확률 모델에 대한 구조적 EM 알고리즘의 적용 가능성을 확장한다.

제안 방법

• 모델 선택에 패널티가 부과된 최대우도 점수 대신 베이지안 점수를 사용하도록 구조적 EM 알고리즘을 수정한다.
• 결측치나 은닉 변수가 존재할 경우 매개변수 추정을 위해 기대최대화(EM) 알고리즘을 통합한다.
• 반복 최적화 수행: E단계(현재 모델 하에서 기대 충분통계량 계산)와 M단계(매개변수 및 구조 갱신)를 번갈아가며 수행한다.
• 모델의 구조에 대한 사전 분포를 반영하여, 구조 탐색의 목적 함수로 확률적 우도(베이지안 점수)를 사용한다.
• 베이지안 점수에 의해 이끌리는 탐욕적 또는 히우리스틱 탐색 전략을 이용해 고성능의 구조를 탐색한다.
• 약한 정규성 조건 하에서 알고리즘의 수렴성을 증명하여 안정적인 학습 동역학을 확보한다.

실험 결과

연구 질문

• RQ1 완전하지 않은 데이터에서 베이지안 모델 선택을 구조적 EM 프레임워크에 효과적으로 통합할 수 있는가?
• RQ2 은닉 변수 존재 시, BIC/MDL와 같은 패널티가 부과된 최대우도 점수 대비 베이지안 점수 사용이 구조 학습에 어떤 개선을 이끌어내는가?
• RQ3 동시에 매개변수와 구조를 학습할 경우, 제안된 알고리즘이 수렴을 보장하는가?
• RQ4 이 알고리즘은 표준 베이지안 네트워크를 초월해 얼마나 복잡한 확률 모델을 다룰 수 있는가?
• RQ5 완전하지 않은 데이터 하에서 사전 분포가 구조 학습 과정에 어떤 영향을 미치는가?

주요 결과

• 베이지안 구조적 EM 알고리즘은 약한 정규성 조건 하에서 국소 최적점으로 수렴하여 안정적인 학습 동역학을 보장한다.
• 완전한 베이지안 점수를 활용함으로써, 알고리즘은 결측치나 은닉 변수 존재 시 효과적인 구조 학습을 가능하게 한다.
• 패널티가 부과된 최대우도 점수를 베이지안 점수로 대체함으로써, 사전 지식을 반영하고 모델 선택 정확도를 향상시킨다.
• 이 프레임워크는 표준 베이지안 네트워크 및 그 변형을 포함한 광범위한 확률 모델에 적용 가능한 일반성과 충분한 유연성을 지닌다.
• 이론적 분석을 통해 반복 최적화 과정이 베이지안 점수를 단조롭게 향상시켜 신뢰할 수 있는 수렴을 이끌어낸다.