[논문 리뷰] Learning Bayesian Networks from Incomplete Data with Stochastic Search Algorithms

James W. Myers, Kathryn Blackmond Laskey외 1명|arXiv (Cornell University)|2013. 01. 23.

Bayesian Modeling and Causal Inference참고 문헌 16인용 수 59

한 줄 요약

이 논문은 완전하지 않은 데이터로부터 베이지안 네트워크 구조를 학습하기 위해 적응형 돌연변이 연산자를 갖춘 확률적 탐색 알고리즘을 제안한다. 이는 국소 최적점에 갇히는 경향이 있는 결정론적 방법(예: EM)의 한계를 극복한다. 이 방법은 네트워크 구조를 동시에 진화시키고 누락된 데이터를 보정함으로써 다모달 솔루션 공간을 더 효과적으로 탐색하고 정확한 네트워크 복원을 달성한다.

ABSTRACT

This paper describes stochastic search approaches, including a new stochastic algorithm and an adaptive mutation operator, for learning Bayesian networks from incomplete data. This problem is characterized by a huge solution space with a highly multimodal landscape. State-of-the-art approaches all involve using deterministic approaches such as the expectation-maximization algorithm. These approaches are guaranteed to find local maxima, but do not explore the landscape for other modes. Our approach evolves structure and the missing data. We compare our stochastic algorithms and show they all produce accurate results.

연구 동기 및 목표

• 완전하지 않은 데이터에서 베이지안 네트워크를 학습하는 문제에 대응하기 위해, 표준 방법(예: EM)이 국소 최적점에서 벗어나지 못하는 문제를 해결한다.
• 누락된 데이터가 존재할 경우, 베이지안 네트워크 구조 학습의 매우 다모달인 솔루션 공간을 탐색한다.
• 구조 최적화와 누락된 데이터 보정을 동시에 수행하는 확률적 탐색 프레임워크를 개발한다.
• 결정론적 방법에 비해 누락된 데이터가 존재할 경우에도 더 정확하고 강건한 구조 학습 성능을 향상시킨다.

제안 방법

• 제안된 방법은 확률적 탐색 알고리즘을 사용하여, 매우 넓고 다모달인 베이지안 네트워크 구조 공간을 탐색한다.
• 적응형 돌연변이 연산자는 탐색 진행 상황에 따라 돌연변이 비율을 동적으로 조정함으로써 탐색과 이용의 균형을 향상시킨다.
• 알고리즘은 탐색 과정 중에 네트워크 구조 최적화와 함께 누락된 데이터를 동시에 보정한다.
• 스코어 기반 평가(예: BIC 또는 BDe)를 사용하여 확률적 탐색을 고스코어 구조 쪽으로 유도한다.
• 알고리즘은 반복적으로 후보 구조를 생성하고, 스코어 함수를 사용해 평가하며, 선택 및 돌연변이를 통해 인구 집단을 갱신한다.
• 확률적 메커니즘을 통해 탐색 인구 집단의 다양성을 유지함으로써 국소 최적점에 갇히는 것을 방지한다.

실험 결과

연구 질문

• RQ1 확률적 탐색 알고리즘이 완전하지 않은 데이터에서의 다모달 솔루션 공간을 효과적으로 탐색할 수 있는가?
• RQ2 고정된 비율의 돌연변이에 비해 적응형 돌연변이 연산자는 수렴 속도와 해의 품질을 어떻게 향상시키는가?
• RQ3 구조와 보정된 데이터를 동시에 학습하는 방식이, EM과 같은 결정론적 방법에 비해 정확한 베이지안 네트워크 복원에서 얼마나 뛰어난가?
• RQ4 데이터가 무작위로 누락되었을 경우와 무작위가 아닐 경우에 제안된 방법이 구조 학습 정확도를 얼마나 향상시키는가?
• RQ5 구조적 정밀도와 스코어 최적화 측면에서, 이론적 최신 결정론적 방법에 비해 이 확률적 접근 방식의 성능은 어떠한가?

주요 결과

• 적응형 돌연변이를 갖춘 제안된 확률적 탐색 알고리즘은 완전하지 않은 데이터에서 정확한 베이지안 네트워크 구조를 복원하는 데 있어 결정론적 EM 기반 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 적응형 돌연변이 연산자는 탐색과 이용의 균형을 유지함으로써 탐색 효율성을 향상시켜 더 빠른 수렴과 더 나은 해의 다양성을 이끌어냈다.
• 구조 최적화와 누락된 데이터 보정을 동시에 수행하는 방식은 순차적 또는 고정된 보정 방식보다 더 높은 스코어를 가진 네트워크를 생성했다.
• 알고리즘은 국소 최적점에서 벗어나 솔루션 공간의 여러 모드를 탐색함으로써 전역 최적 또는 근사 최적의 구조를 찾을 가능성을 높였다.
• 실증 평가 결과, 기준 데이터셋에서 누락된 데이터가 존재할 경우, 이 확률적 접근 방식은 EM 기반 대안보다 더 높은 구조 정확도와 더 나은 BIC/BDe 스코어를 달성했다.
• 알고리즘은 누락된 데이터의 메커니즘이 무작위 또는 무작위가 아닐 경우에 모두 강건성을 보였으며, 누락 메커니즘에 대한 사전 지식이 필요로 하지 않았다.