[논문 리뷰] Metropolis-type algorithms for Continuous Time Bayesian Networks

Błażej Miasojedow, Wojciech Niemiro외 2명|arXiv (Cornell University)|2014. 03. 17.

Bayesian Modeling and Causal Inference참고 문헌 10인용 수 4

한 줄 요약

이 논문은 연속시간 베이지안 네트워크(CTBNs)를 위한 새로운 메트로폴리스-해스팅스 MCMC 알고리즘을 제안한다. 이 알고리즘은 CTMC를 표준화된 포oisson 과정으로 표현하기 위해 유니폼라이제이션을 사용하여, 은닉 변수 탐지에 효율적인 가역적 점프를 가능하게 한다. 이 방법은 특히 무한한 상태 공간을 가진 모델인 로트카-볼테라 모델과 같이 고차원이거나 유계가 아닌 상태 공간에서 우수한 성능을 보이며, 우도 가중치 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

We present a Metropolis-Hastings Markov chain Monte Carlo (MCMC) algorithm for detecting hidden variables in a continuous time Bayesian network (CTBN), which uses reversible jumps in the sense defined by (Green 1995). In common with several Monte Carlo algorithms, one of the most recent and important by (Rao and Teh 2013), our algorithm exploits uniformization techniques under which a continuous time Markov process can be represented as a marked Poisson process. We exploit this in a novel way. We show that our MCMC algorithm can be more efficient than those of likelihood weighting type, as in (Nodelman et al. 2003) and (Fan et al. 2010) and that our algorithm broadens the class of important examples that can be treated effectively.

연구 동기 및 목표

• 기존 방법이 실패하는 경우에도 은닉 변수 학습을 위한 효율적인 MCMC 알고리즘을 개발하는 것.
• 크거나 유계가 아닌 상태 공간에서 성능이 열 劣한 우도 가중치 방법의 한계를 극복하는 것.
• 국소적 업데이트를 통해 상태 공간 크기와 무관하게 확장 가능한 가역적 점프 MCMC 알고리즘을 설계하여, 무한하거나 매우 큰 상태 공간을 가진 모델에 적용할 수 있도록 하는 것.
• 유니폼라이제이션 기법을 활용해 CTMC를 표준화된 포oisson 과정으로 표현하여, 제어 가능한 계산 비용을 가진 제안 분포를 구성하는 데 도움을 주는 것.
• 로트카-볼테라 포식-피식 시스템과 같이 유계가 아닌 상태 공간과 비선형 강도를 가진 복잡하고 현실적인 모델에서 알고리즘의 효과성을 입증하는 것.

제안 방법

• CTBN 내 연속시간 마코프 과정을 유니폼라이제이션을 통해 표준화된 포oisson 과정(MPP)으로 표현하며, 상태 전이 강도 행렬 Q(x)의 최댓값을 초과하는 비율 λ ≥ maxₓ Q(x)를 사용하여 시뮬레이션에 적합하게 만든다.
• 세부 균형 조건을 유지하면서 한 지점에서의 궤적을 수정함으로써, Add/EraseRandomPoint 동작을 포함한 가역적 점프를 포함하는 메트로폴리스-해스팅스 제안을 구성한다.
• 궤적의 연속된 세 점에 대한 충분통계량만 재계산함으로써, 반복마다 최소한의 계산 오버헤드를 유도하는 국소 업데이트를 사용한다.
• 이전 상태에서의 전이 커널에 기반해 새로운 상태를 생성하는 제안 메커니즘을 사용하며, 수용 확률은 메트로폴리스-해스팅스 비율에서 유도된다.
• 관측된 변수의 일부만 관측되는 은닉 변수를 가진 CTBN에 알고리즘을 적용하고, 전체 궤적을 활용해 미관측 상태에 대한 사후분포를 추론한다.
• 수용 확률과 계산 비용의 균형을 맞추기 위해 유니폼라이제이션 비율 λ를 조정하며, max Q(x)에 가까운 경우 낮은 수용률을 방지하고, 너무 큰 λ 값으로 인한 과도한 가상의 점프를 피한다.

실험 결과

연구 질문

• RQ1 표준 방법이 실패하는 유계가 아닌 상태 공간을 가진 모델을 효율적으로 처리할 수 있는 CTBNs를 위한 메트로폴리스-해스팅스 MCMC 알고리즘을 설계할 수 있는가?
• RQ2 유니폼라이제이션을 활용해 연속시간 과정에 대해 가역적 점프 MCMC를 어떻게 적응시킬 수 있으며, 세부 균형 조건을 유지하고 상태 공간을 효율적으로 탐색할 수 있는가?
• RQ3 제안된 알고리즘에서 유니폼라이제이션 비율 λ를 선택할 때 수용률과 계산 비용 사이의 성능 트레이드오프는 어떠한가?
• RQ4 복잡한 모델에서 우도 가중치 방법 및 다른 MCMC 접근법(Rao와 Teh 2013)과 비교해 본다면, 제안된 MCMC 방법의 수렴성과 정확성은 어떠한가?
• RQ5 관측 데이터가 전체 경로가 아닌 고정된 시간점에서 샘플링된 궤적일 경우, 알고리즘이 은닉 변수를 효과적으로 추론할 수 있는가?

주요 결과

• 실험 결과, 제안된 MCMC 알고리즘은 약 0.5의 수용률을 달성하여 상태 공간의 우수한 혼합성과 효율적인 탐색을 보였다.
• 특히 고차원 또는 유계가 아닌 상태 공간 모델에서, 우도 가중치 방법에 비해 추정 정확도와 안정성 면에서 뚜렷한 성능 향상을 보였다.
• 무한한 상태 공간과 비선형 강도를 가진 로트카-볼테라 예제에서, 알고리즘은 좁은 신뢰구간을 가진 사후 중앙값과 평균을 성공적으로 복원하여 강건성을 입증했다.
• 알고리즘의 계산 비용은 상태 공간 크기와 거의 무관하여, 무한하거나 매우 큰 상태 공간을 가진 모델에 적합하다.
• 세 점 충분통계량만을 요구하는 국소 업데이트 메커니즘 덕분에, Rao와 Teh(2013)와 같은 전역 재평가 방법보다 반복당 계산 비용이 낮았다.
• 강도가 국소적으로 유계이기만 하면, 실용적 응용에 있어 잘라내기(truncation)가 필요하지 않다는 점을 보여주며, 강도가 무한하더라도 알고리즘이 효과적으로 기능함을 입증했다.