[논문 리뷰] Expectation Propagation for Continuous Time Bayesian Networks

Uri Nodelman, Daphne Koller외 1명|arXiv (Cornell University)|2012. 07. 04.

Bayesian Modeling and Causal Inference참고 문헌 9인용 수 67

한 줄 요약

이 논문은 궤적 기반 클러스터를 가진 클러스터 그래프에서 기대치 전파(EP)를 사용하여 연속 시간 베이지안 네트워크(CTBNs)에 대한 근사 추론 방법을 제안한다. CTBN을 지수족 내에서 매개변수화하고 각 변수별로 시간 해상도를 적응적으로 조정함으로써, 이 방법은 연속 시간 간격과 이산 증거 지점에서 효율적이고 확장 가능한 추론을 가능하게 하며, CTBN에서 정확한 추론의 비가역성 문제를 해결한다.

ABSTRACT

Continuous time Bayesian networks (CTBNs) describe structured stochastic processes with finitely many states that evolve over continuous time. A CTBN is a directed (possibly cyclic) dependency graph over a set of variables, each of which represents a finite state continuous time Markov process whose transition model is a function of its parents. As shown previously, exact inference in CTBNs is intractable. We address the problem of approximate inference, allowing for general queries conditioned on evidence over continuous time intervals and at discrete time points. We show how CTBNs can be parameterized within the exponential family, and use that insight to develop a message passing scheme in cluster graphs and allows us to apply expectation propagation to CTBNs. The clusters in our cluster graph do not contain distributions over the cluster variables at individual time points, but distributions over trajectories of the variables throughout a duration. Thus, unlike discrete time temporal models such as dynamic Bayesian networks, we can adapt the time granularity at which we reason for different variables and in different conditions.

연구 동기 및 목표

• 연속 시간에서 구조화된 확률적 과정을 모델링하는 연속 시간 베이지안 네트워크(CTBNs)에서 정확한 추론의 비가역성 문제를 해결하기 위해.
• 연속 시간 간격과 이산 시간 지점에서 일반적인 질의를 지원하는 확장 가능하고 유연한 근사 추론 프레임워크를 개발하기 위해.
• 개별 시간 지점이 아닌 전체 변수 궤적에 대한 분포를 모델링함으로써 추론 시 변수별로 시간 해상도를 적응적으로 조정할 수 있도록 하기 위해.
• 궤적 기반 클러스터를 가진 클러스터 그래프를 구성하고 지수족 매개변수화를 활용하여 기대치 전파(EP)를 CTBN에 적용하기 위해.

제안 방법

• 저자들은 충분 통계량을 사용한 효율적 메시지 전달을 가능하게 하기 위해 CTBN을 지수족 내에서 매개변수화한다.
• 각 클러스터가 이산 시간 지점이 아닌 연속 시간 간격 동안 변수 궤적의 분포를 나타내는 클러스터 그래프를 설계한다.
• 메시지 전달은 궤적에 대한 진정한 사후 분포를 근사하기 위해 기대치 전파(EP)를 사용하여 클러스터 간에 수행된다.
• 이 방법은 변수별로 적응형 시간 해상도를 허용하여 역학적 특성과 증거에 따라 해상도를 동적으로 조정한다.
• 알고리즘은 이산 시간 지점에서의 증거와 연속 시간 간격에서의 조건부 일반 질의를 모두 지원한다.
• 이 접근법은 CTBN의 구조와 지수족의 성질을 활용하여 계산의 타당성을 유지하면서 근사 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 CTBN에서 근사 추론을 어떻게 확장 가능하고 효율적으로 만들 수 있으며, 연속 시간 증거를 지원할 수 있는가?
• RQ2 클러스터 그래프에서 궤적 기반 클러스터는 이산 시간 모델 대비 CTBN에서 추론의 정확도와 융통성에 어떻게 기여하는가?
• RQ3 CTBN 추론에서 시간 해상도를 변수별로 적응적으로 조정할 수 있는 정도는 어디까지이며, 계산 효율성에 영향을 주지 않는가?
• RQ4 제안된 EP 기반 방법은 기존의 근사 추론 기법과 비교해 CTBN 질의의 수렴성과 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 CTBN의 지수족 매개변수화는 클러스터 기반 프레임워크에서 충분 통계량을 사용한 메시지 전달을 효과적으로 가능하게 하는가?

주요 결과

• 제안된 EP 기반 추론 방법은 연속 시간 간격과 이산 시간 증거 지점에서 CTBN의 사후 분포를 정확하게 근사한다.
• 전체 궤적에 대한 분포를 모델링함으로써 이 방법은 변수별 시간 해상도를 지원하여 필요에 따라 효율성과 정밀도를 향상시킨다.
• 지수족 매개변수화를 사용함으로써 충분 통계량을 사용한 효율적 메시지 전달이 가능해져 계산 오버헤드를 감소시킨다.
• 클러스터 그래프 구조는 관련 시간 간격과 변수 간 의존성에 국한된 계산을 통해 확장 가능한 추론을 지원한다.
• 이 방법은 정확한 추론이 불가능한 복잡한 실제 세계의 확률적 과정에 대해 실용적으로 적용 가능하다.
• 실험 결과는 이 방법이 안정적으로 수렴하고 벤치마크 CTBN 질의에서 기준 방법과 경쟁 가능한 정확도를 제공함을 보여준다.