[논문 리뷰] Continuous Time Markov Networks

Tal El‐Hay, Nir Friedman외 2명|arXiv (Cornell University)|2012. 06. 27.

Bayesian Modeling and Causal Inference참고 문헌 13인용 수 13

한 줄 요약

이 논문은 국소적 전이 제안과 마르코프 네트워크로 표현된 전역적 적합도 함수를 조합하는 연속 시간 스토케스틱 프로세스를 모델링하기 위한 새로운 프레임워크인 연속 시간 마르코프 네트워크(CTMNs)를 소개한다. 이 모델은 적합도 함수를 사용해 상태 변화를 확률적으로 수락하거나 기각함으로써 정상 분포가 네트워크의 포텐셜 함수와 일치하도록 보장하며, 생물학적 서열 진화와 같은 복잡한 동역학의 압축 표현을 가능하게 한다.

ABSTRACT

A central task in many applications is reasoning about processes that change in a continuous time. The mathematical framework of Continuous Time Markov Processes provides the basic foundations for modeling such systems. Recently, Nodelman et al introduced continuous time Bayesian networks (CTBNs), which allow a compact representation of continuous-time processes over a factored state space. In this paper, we introduce continuous time Markov networks (CTMNs), an alternative representation language that represents a different type of continuous-time dynamics. In many real life processes, such as biological and chemical systems, the dynamics of the process can be naturally described as an interplay between two forces - the tendency of each entity to change its state, and the overall fitness or energy function of the entire system. In our model, the first force is described by a continuous-time proposal process that suggests possible local changes to the state of the system at different rates. The second force is represented by a Markov network that encodes the fitness, or desirability, of different states; a proposed local change is then accepted with a probability that is a function of the change in the fitness distribution. We show that the fitness distribution is also the stationary distribution of the Markov process, so that this representation provides a characterization of a temporal process whose stationary distribution has a compact graphical representation. This allows us to naturally capture a different type of structure in complex dynamical processes, such as evolving biological sequences. We describe the semantics of the representation, its basic properties, and how it compares to CTBNs. We also provide algorithms for learning such models from data, and discuss its applicability to biological sequence evolution.

연구 동기 및 목표

• 국소적 전이 역학과 전역적 시스템 수준의 선호도를 모두 반영하는 연속 시간 스토케스틱 프로세스를 위한 새로운 표현 방식을 개발하는 것.
• 개별 요소의 경향성과 전체 시스템의 적합도가 함께 영향을 미치는 시스템을 모델링하는 것, 예를 들어 생물학적 및 화학적 과정에서와 같이.
• 프로세스의 정상 분포가 그래픽 모델의 포텐셜 함수와 정확히 일치하도록 보장하는 것. 이는 원칙적인 추론과 학습을 가능하게 한다.
• 특히 변화하는 생물학적 서열에 적용 가능한, 시간적 데이터로부터 CTMNs를 학습하는 알고리즘을 제공하는 것.
• CTMNs에 대한 공식적인 의미론과 이론적 기반을 제공하여 기존 모델(예: CTBNs)과의 차별성을 확립하는 것.

제안 방법

• 모델은 각 상태 전이가 국소적, 비율 기반 제안 과정에 의해 제안되는 연속 시간 마르코프 과정을 정의한다.
• 제안된 전이는 마르코프 네트워크의 포텐셜 함수에 의해 정의된 시스템의 적합도 변화에 따라 확률적으로 수락된다.
• 적합도 함수는 클리크 위의 포텐셜 함수를 통해 다양한 상태 구성의 바람직함을 반영하는 방식으로 마르코프 네트워크로 표현된다.
• 수락 확률은 적합도 변화의 비율에 기반하여 유도되며, 이는 네트워크의 분포 하에서 상세 균형 조건과 정상성을 보장한다.
• 과정은 마르코프 네트워크의 게비스 분포 위에서 정상 분포가 되도록 구성되어 있어, 일관된 장기적 행동을 보장한다.
• 관측된 시간적 궤적에서 최대우도 추정을 기반으로 한 학습 알고리즘이 개발되었으며, 기울기 기반 최적화를 사용한다.

실험 결과

연구 질문

• RQ1 국소적 전이 비율과 전역적 시스템 적합도가 함께 영향을 미치는 연속 시간 프로세스를 어떻게 모델링할 수 있는가?
• RQ2 정상 분포가 마르코프 네트워크의 게비스 분포와 정확히 일치하는 연속 시간 마르코프 과정을 구성할 수 있는가?
• RQ3 표현력, 정상성, 복잡한 종속성의 모델링 측면에서 제안된 모델은 CTBNs와 어떻게 비교될 수 있는가?
• RQ4 시간적 데이터로부터 적합도 함수와 전이 비율의 파라미터를 추론하기 위해 어떤 학습 알고리즘이 사용될 수 있는가?
• RQ5 CTMNs는 상호의존적인 상태 변화를 포함하는 복잡한 실세계 프로세스, 예를 들어 변화하는 생물학적 서열을 효과적으로 모델링할 수 있는가?

주요 결과

• CTMN 과정의 정상 분포는 마르코프 네트워크의 포텐셜 함수에 의해 정의된 정확한 게비스 분포이며, 이는 적합도 모델과의 일致성을 보장한다.
• 모델은 국소적 제안 메커니즘과 전역적 적합도 평가로 동역학을 자연스럽게 분해할 수 있어, 모듈러하고 해석 가능한 모델링을 가능하게 한다.
• 상태 전이에 대한 수락 확률은 적합도 변화의 비율에 기반하여 유도되며, 이는 상세 균형 조건을 만족하고 목표 분포로의 수렴을 보장한다.
• 최대우도 기반으로 시간적 데이터로부터 학습이 가능하며, 전이 비율과 포텐셜 함수 파라미터 양쪽에 대한 최적화를 지원한다.
• 모델은 상호의존적인 돌연변이와 적합도 지형이 자연스럽게 포착되는 생물학적 서열 진화에 적용 가능함이 입증되었다.
• CTMNs는 전역적 시스템 적합도가 상태 전이에 지배적인 역할을 하는 시스템에 특히 적합한 CTBNs의 보완적 대안을 제공한다.