[논문 리뷰] Expectation Maximization and Complex Duration Distributions for Continuous Time Bayesian Networks

Uri Nodelman, Christian R. Shelton외 1명|arXiv (Cornell University)|2012. 07. 04.

Bayesian Modeling and Causal Inference참고 문헌 17인용 수 66

한 줄 요약

이 논문은 부분 관측된 데이터로부터 학습하기 위해 기대치 최대화(EM)와 구조적 EM(SEM)를 통합하여 연속 시간 베이지안 네트워크(CTBNs)를 확장한다. 이를 통해 단계형 분포(Phase-type distributions)를 활용할 수 있게 되었으며, 이는 임의의 지속 시간 분포를 근사할 수 있는 매우 표현력이 뛰어난 반모수적 모델이다. 이 방법은 기존의 CTBNs와 동적 베이지안 네트워크(DBNs)에 비해 모델링의 유연성과 성능을 크게 향상시키며, 실생활 수명 데이터에서 복잡한 지속 시간 패턴을 포착하는 데 특히 유리하다.

ABSTRACT

Continuous time Bayesian networks (CTBNs) describe structured stochastic processes with finitely many states that evolve over continuous time. A CTBN is a directed (possibly cyclic) dependency graph over a set of variables, each of which represents a finite state continuous time Markov process whose transition model is a function of its parents. We address the problem of learning the parameters and structure of a CTBN from partially observed data. We show how to apply expectation maximization (EM) and structural expectation maximization (SEM) to CTBNs. The availability of the EM algorithm allows us to extend the representation of CTBNs to allow a much richer class of transition durations distributions, known as phase distributions. This class is a highly expressive semi-parametric representation, which can approximate any duration distribution arbitrarily closely. This extension to the CTBN framework addresses one of the main limitations of both CTBNs and DBNs - the restriction to exponentially / geometrically distributed duration. We present experimental results on a real data set of people's life spans, showing that our algorithm learns reasonable models - structure and parameters - from partially observed data, and, with the use of phase distributions, achieves better performance than DBNs.

연구 동기 및 목표

• 비지수 분포를 갖는 지속 시간 분포를 모델링하는 데 있어 CTBNs와 DBNs의 한계를 해결한다.
• 부분 관측된 시간적 데이터로부터 CTBN의 구조와 파라미터를 학습할 수 있도록 한다.
• 단계형 분포를 사용하여 지속 시간 분포의 탄력적이고 반모수적 표현 방식을 도입한다.
• 실생활 연속 시간 스토케스틱 과정의 모델링 정확도와 예측 성능을 향상시킨다.
• EM 및 SEM 알고리즘이 복잡한 CTBNs의 높은 수준의 지속 시간 역학을 학습하는 데 효과적임을 입증한다.

제안 방법

• 부분 관측된 데이터로부터 CTBN의 파라미터를 추정하기 위해 기대치 최대화(EM) 알고리즘을 적응시킨다.
• 불완전한 시간적 데이터로부터 CTBN의 구조를 학습하기 위해 구조적 EM(SEM) 알고리즘을 확장한다.
• 임의의 지속 시간 분포를 모델링하기 위한 탄력적이고 반모수적인 표현으로서 단계형 분포를 도입한다.
• 각 변수의 전이 강도를 부모 변수의 함수로 모델링하며, 단계형 분포를 사용해 복잡한 무기억성 및 기억을 갖는 동역학을 포착한다.
• 단계형 분포 모델링을 CTBN 프레임워크 내에서 기반으로 삼기 위해 은닉 반-마르코프 과정을 사용한다.
• 은닉 상태 경로에 대한 기대치를 계산하여 기대 충분통계량을 활용해 반복적으로 파라미터 추정치를 향상시킨다.

실험 결과

연구 질문

• RQ1 EM 및 SEM 알고리즘이 부분 관측된 연속 시간 데이터로부터 CTBNs를 효과적으로 학습하는 데 적합한가?
• RQ2 단계형 분포가 지수 또는 기하 분포에 비해 CTBNs 내에서 지속 시간 분포를 얼마나 유의미하게 향상시킬 수 있는가?
• RQ3 단계형 분포를 활용한 확장된 CTBN 프레임워크가 실생활 데이터에서 표준 DBNs 및 CTBNs보다 예측 정확도 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 학습 알고리즘이 불완전한 관측에서 진짜로 존재하는 CTBN의 구조와 파라미터를 얼마나 잘 복원할 수 있는가?
• RQ5 단계형 분포가 실생활 과정에서 관찰되는 복잡한 비무기억성 지속 시간 패턴을 얼마나 잘 근사할 수 있는가?

주요 결과

• EM 및 SEM 알고리즘이 부분 관측된 데이터로부터 CTBN의 구조와 파라미터를 성공적으로 학습하여 강력한 모델 유도를 가능하게 한다.
• 단계형 분포를 통해 CTBNs가 임의의 지속 시간 분포를 임의로 정밀하게 근사할 수 있게 되어, 지수 또는 일정한 위험률에 대한 제약을 극복한다.
• 실생활 수명 데이터셋에서 단계형 분포를 활용한 확장된 CTBN 모델은 표준 DBNs 및 CTBNs보다 유의미하게 높은 성능을 기록한다.
• 불완전한 시간적 데이터로부터 의미 있고 해석 가능한 구조를 학습하여 생존 과정 내의 현실적인 의존성 관계를 반영한다.
• 단계형 분포의 사용은 종단적 건강 데이터에서 관찰되는 복잡한 비지수 지속 시간 패턴을 더 정확하게 표현할 수 있게 한다.
• 실험 결과는 제안된 방법이 지수 분포를 사용한 기준 모델 대비 로그우도와 예측 정확도를 향상시킴을 입증한다.