[論文レビュー] Moment-Based Variational Inference for Markov Jump Processes

Christian Wildner, Heinz Koeppl|arXiv (Cornell University)|May 14, 2019

Machine Learning and Algorithms被引用数 3

ひとこと要約

本稿では、遷移をクラスに分割することで、Kullback-Leibler発散を自然モーメント関数の形で表現する、マコフジャンプ過程におけるモーメントベースの変分推論を導入する。この手法により、複雑さを制御可能な柔軟なスムージングおよびパrameter推論が可能となり、絶対連続性を保証するように事前分布を修正することで、平均場アプローチを凌駕する。実験では遺伝子発現モデルおよび捕食者・被捕食者モデルで成功を収めた。

ABSTRACT

We propose moment-based variational inference as a flexible framework for approximate smoothing of latent Markov jump processes. The main ingredient of our approach is to partition the set of all transitions of the latent process into classes. This allows to express the Kullback-Leibler divergence from the approximate to the posterior process in terms of a set of moment functions that arise naturally from the chosen partition. To illustrate possible choices of the partition, we consider special classes of jump processes that frequently occur in applications. We then extend the results to latent parameter inference and demonstrate the method on several examples.

研究の動機と目的

• 無限大の状態空間を持つ潜在的なマコフジャンプ過程のための柔軟な近似スムージングフレームワークの開発。
• 製品形式の平均場アプローチに起因する問題を引き起こす、ジャンプ過程における変分推論の絶対連続性の課題に対処すること。
• 遷移の分割方式から導かれるモーメント関数に基づいてKL発散を表現することで、効率的な推論を実現すること。
• モーメントベースの近似を用いて、潜在状態とモデルパラメータの同時推論を可能にする。
• 合成生物学的モデル、特に遺伝子発現および捕食者・被捕食者ダイナミクスを用いて、手法の有効性を検証すること。

提案手法

• マコフジャンプ過程におけるすべての遷移の集合を事前に定義されたクラスに分割し、変分近似を構造化する。
• 近似事後分布と正確な事後分布との間のKullback-Leibler発散を、遷移の分割によって誘導されるモーメント関数の形で表現する。
• 事前分布の変更を用いて変分族を構築し、絶対連続性を保証し、製品形近似に内在する問題を回避する。
• モーメント関数から導かれる常微分方程式系に従う最適制御問題に推論問題を還元する。
• 特に捕食者・被捕食者系のような非線形モデルでは、モーメント方程式が閉じていない場合にモーメント閉じ込み技術を用いる。
• 適切な分割選択により、パラメータのためのガンマ変分分布を導出することで、フレームワークをパラメータ推論へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 高次元または無限大の状態空間に対して、マコフジャンプ過程における変分推論をどのようにして柔軟かつ計算的に実行可能にすることができるか？
• RQ2 遷移の分割が、事後近似におけるKL発散の実行可能で閉じたモーメントベース表現を可能にするか？
• RQ3 遷移の分割の選択が、変分近似の品質および解釈可能性に与える影響は何か？
• RQ4 潜在状態とモデルパラメータの同時推論に、この手法を効率的に拡張できるか？
• RQ5 非線形ジャンプ過程において、モーメント閉じ込みの影響は近似の精度にどのように現れるか？

主な発見

• 遺伝子発現モデルにおいて、真陽性検出率は α = 0.94、偽陽性率は β = 0.15 を達成し、偽陽性の多くは一時的な遷移イベントに起因している。
• 観測間で変分事後分布の分散が高いままであることから、観測に起因する分散低減を適切に捉えていないことが示され、反応チャネルごとに1つの時間依存要因しか持たないため、自由度が不十分である可能性がある。
• 捕食者・被捕食者モデルでは、近似事後分布の分散が正確なスムージング過程よりも高いことが判明し、保守的な近似であることが示されたが、平均経路は真の潜在経路に近く保たれていた。
• 遺伝子発現例では、完全なスムージング問題が9個の常微分方程式系に還元され、計算の実行可能性が示された。
• 非線形モデルでは、モーメント閉じ込み技術を用いてモーメント方程式を閉じることができ、複雑な系に対してもフレームワークの適用が可能になる。
• 適切な遷移分割の選択により、自然にパラメータのためのガンマ変分分布が得られ、効率的な同時推論が可能になる。