[論文レビュー] Cluster Variational Approximations for Structure Learning of Continuous-Time Bayesian Networks from Incomplete Data

Dominik Linzner, Heinz Koeppl|TUbilio (Technical University of Darmstadt)|Sep 12, 2018

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

本稿では、不完全でノイズの多い時系列データから連続時間ベイジアンネットワーク（CTBN）におけるスケーラブルな構造学習を実現する、新しいクラスタ変分推論手法を提案する。常微分方程式（ODE）を用いて解析的にマージナライズ可能な動的挙動を導出し、構造スコアを変分自由エネルギーで近似することで、効率的かつ高精度なグラフ再構成が可能となる。実験では合成データおよび生物学的ネットワーク（14ノードのネットワークも含む）で有効性を検証し、従来のサンプリング法および変分法のベースラインを上回るスケーラビリティと精度を達成した。

ABSTRACT

Continuous-time Bayesian networks (CTBNs) constitute a general and powerful framework for modeling continuous-time stochastic processes on networks. This makes them particularly attractive for learning the directed structures among interacting entities. However, if the available data is incomplete, one needs to simulate the prohibitively complex CTBN dynamics. Existing approximation techniques, such as sampling and low-order variational methods, either scale unfavorably in system size, or are unsatisfactory in terms of accuracy. Inspired by recent advances in statistical physics, we present a new approximation scheme based on cluster-variational methods significantly improving upon existing variational approximations. We can analytically marginalize the parameters of the approximate CTBN, as these are of secondary importance for structure learning. This recovers a scalable scheme for direct structure learning from incomplete and noisy time-series data. Our approach outperforms existing methods in terms of scalability.

研究の動機と目的

• データが不完全でノイズを含む状況下でも、連続時間ベイジアンネットワーク（CTBN）における有向ネットワーク構造を学習する課題に取り組むこと。
• 高次元CTBNにおいて、従来のサンプリング法および低次の変分法に見られるスケーラビリティと精度の制限を克服すること。
• 潜在状態推定にかかるコストを回避するために、クラスタ変分法を活用した直接的な構造学習フレームワークを構築すること。
• マージナライズされた変分自由エネルギーを用いて構造スコアの閉形式近似を導出し、効率的なグリーディ最適化を可能とすること。
• 実世界の時系列データにおいて、観測数が限られるが、遺伝子調節ネットワークなどの複雑な生物学的ネットワークを高精度に再構成できること。

提案手法

• 統計物理学のクラスタ変分近似を用いて、不確実なCTBN潜在状態の事後分布を一貫的かつ取り扱いやすい近似として構築する。
• CTBNのマージナル動的挙動を、観測データ、事前仮定、およびグラフ構造にのみ依存する常微分方程式（ODE）の系として定式化し、効率的なシミュレーションを可能にする。
• 変分自由エネルギーをモデルパラメータに関してマージナライズすることで、パラメータ推定を経由せずに構造スコアを直接最適化可能にする。
• マージナライズされた変分エネルギーから構造スコアの近似式を導出し、グリーディ構造学習におけるモデル証拠の代理として用いる。
• 勾配上昇法を用いて、近似構造スコアに従って最高スコアのグラフを特定する。
• 標準的なODEソルバを用いて実装することで、計算効率が保たれ、より大きなネットワークへのスケーリングが可能となる。

実験結果

リサーチクエスチョン

• RQ1 クラスタ変分法は、不完全なデータを伴う連続時間ベイジアンネットワーク（CTBN）における構造学習の精度とスケーラビリティを向上させ得るか？
• RQ2 CTBNのマージナル動的挙動を解析的に導出し、サンプリングを伴わずに真の事後分布を近似する方法は何か？
• RQ3 変分自由エネルギーをパラメータに関してマージナライズすることで、直接的な構造学習がどの程度可能になるか？
• RQ4 本手法は、サンプリングベースおよび低次の変分法と比較して、再構成精度と計算コストの両面で優れているか？
• RQ5 ノイズが多く、観測が限られた時系列データから、遺伝子調節ネットワークなどの大規模生物学的ネットワークを効果的に再構成できるか？

主な発見

• 不完全でノイズの多いデータから14ノードのCTBN（リーフ・ツリーフィードバック付き）を成功裏に再構成した。これは、従来のサンプリング法で報告された11ノードのネットワークを上回る規模である。
• N=5ノード、k_max=1の合成データにおいて、十分なデータ量が得られた場合、高いグラフ回復精度を達成した。ノイズに強く、ロバストであることが示された。
• k_max=2では、モデルの複雑さが増し、より接続度の高いグラフにおける強い相関が原因で性能が低下した。これは、モデルの表現力と同定可能性の間のトレードオフを示している。
• イーライス・ユーラスのIRMA遺伝子調節ネットワークにおいて、競争力のあるPPVおよびSEスコアを達成。BANJOを上回り、TSNIと同等またはそれ以上のPPVを『オン』および『オフ』の両データセットで達成した。
• 従来のサンプリングおよび変分ベースラインと比較して、本手法は優れたスケーラビリティを示し、高次元システムにおける効率的な構造学習を可能にした。
• 導出されたODEベースの動的挙動は、真の潜在プロセスを一貫的かつ高精度に近似でき、完全な事後分布サンプリングを伴わずとも信頼性の高い構造推論を可能にした。