[논문 리뷰] Moment-Based Variational Inference for Markov Jump Processes

Christian Wildner, Heinz Koeppl|arXiv (Cornell University)|2019. 05. 14.

Machine Learning and Algorithms인용 수 3

한 줄 요약

이 논문은 전이를 클래스로 분할하여 자연 모멘트 함수를 통해 Kullback-Leibler 발산을 표현함으로써 마코프 점프 과정에 대한 모멘트 기반 변분 추론을 제안한다. 이 방법은 복잡도를 제어할 수 있는 민감한 근사 스무딩과 매개변수 추론을 가능하게 하며, 절대 연속성을 확보하기 위해 사전을 수정함으로써 평균장 접근법을 능가한다. 유전자 발현 및 천적-피식자 모델에서 성공적으로 적용된 바 있다.

ABSTRACT

We propose moment-based variational inference as a flexible framework for approximate smoothing of latent Markov jump processes. The main ingredient of our approach is to partition the set of all transitions of the latent process into classes. This allows to express the Kullback-Leibler divergence from the approximate to the posterior process in terms of a set of moment functions that arise naturally from the chosen partition. To illustrate possible choices of the partition, we consider special classes of jump processes that frequently occur in applications. We then extend the results to latent parameter inference and demonstrate the method on several examples.

연구 동기 및 목표

• 무한대 상태 공간을 가진 잠재 마코프 점프 과정에 대한 유연한 근사 스무딩 프레임워크를 개발하는 것.
• 제품 기반 평균장 접근법이 애로를 겪는 점프 과정의 변분 추론에서의 절대 연속성 문제를 해결하는 것.
• 전이 분할 기반으로 유도된 모멘트 함수를 통해 KL 발산을 표현함으로써 효율적인 추론을 가능하게 하는 것.
• 모멘트 기반 근사법을 사용하여 잠재 상태와 매개변수의 동시 추론으로 방법을 확장하는 것.
• 합성 생물학적 모델, 특히 유전자 발현과 천적-피식자 역학에 대해 이 방법을 적용하는 것.

제안 방법

• 마코프 점프 과정의 모든 전이를 사전에 정의된 클래스로 분할하여 변분 근사의 구조를 설정하는 것.
• 전이 분할에 의해 유도된 모멘트 함수를 통해 근사 후행과 정확한 후행 간의 Kullback-Leibler 발산을 표현하는 것.
• 사전 과정의 수정을 통해 절대 연속성을 보장하고, 제품 형태 근사에서 기인하는 문제를 피하는 변분 가족을 구성하는 것.
• 모멘트 함수에서 유도된 상미분 방정식계에 의해 지배되는 최적 제어 문제로 추론 문제를 환원하는 것.
• 특히 천적-피식자 시스템과 같은 비선형 모델에서 모멘트 방정식이 닫히지 않을 경우 모멘트 폐쇄 기법을 사용하는 것.
• 적절한 분할 선택을 통해 매개변수에 대한 감마 변분 분포를 유도함으로써 프레임워크를 매개변수 추론으로 확장하는 것.

실험 결과

연구 질문

• RQ1 고차원적이거나 무한대 상태 공간을 가진 마코프 점프 과정에 대한 변분 추론은 어떻게 하면 민감하고 계산적으로 타당하게 만들 수 있는가?
• RQ2 전이의 분할이 후행 근사의 모멘트 기반 표현에 대해 타당한 KL 발산 표현을 가능하게 할 수 있는가?
• RQ3 전이 분할의 선택이 변분 근사의 품질과 해석 가능성에 어떤 영향을 미치는가?
• RQ4 잠재 상태와 모델 매개변수의 동시 추론으로 방법을 확장할 수 있으며, 이때 계산 효율성은 유지되는가?
• RQ5 비선형 점프 과정에서 모멘트 폐쇄 기법이 근사 정확도에 어떤 영향을 미치는가?

주요 결과

• 유전자 발현 모델에서 이 방법은 참 양성 검출률 α = 0.94와 거짓 양성률 β = 0.15를 달성하였으며, 거짓 양성은 주로 짧은 일시적 사건 때문이었다.
• 관측 간격에서 변분 후행 분산이 높게 유지되며, 관측에 의해 유도되는 분산 감소를 포착하지 못하는 한계를 보이며, 이는 반응 채널당 하나의 시간에 따라 변하는 요소로 인한 자유도 부족 때문일 가능성이 높다.
• 천적-피식자 모델에서 근사 후행 분산은 정확한 스무딩 과정보다 높았으며, 이는 보수적인 근사임을 시사하지만, 평균 경로는 진짜 잠재 경로와 유사했다.
• 유전자 발현 예제에서 전체 스무딩 문제는 아홉 개의 상미분 방정식계로 환원되어 계산 타당성을 입증하였다.
• 비선형 모델에서 모멘트 방정식을 닫기 위해 모멘트 폐쇄 기법을 적용할 수 있으며, 이는 복잡한 시스템에서도 프레임워크의 활용 가능성을 보장한다.
• 적절한 전이 분할 선택은 매개변수에 대한 감마 변분 분포를 자연스럽게 유도하며, 이는 효율적인 동시 추론을 가능하게 한다.