[論文レビュー] Learning Deep Hidden Nonlinear Dynamics from Aggregate Data

Yisen Wang, Bo Dai+4 more|arXiv (Cornell University)|Jul 22, 2018

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 3

ひとこと要約

本稿では、尤度フリーかつ事後分布フリーな推論を実現するため、Wasserstein距離を用いて集計データから非線形な隠れ動的ダイナミクスを学習する深層生成モデルLEGENDを提案する。潜在的な確率過程を用いて複雑な拡散過程をモデル化し、分布の整合性を最適化することで、合成および実世界のデータセットにおけるフィルタリングおよびスムージングタスクで最先端の性能を達成し、理論的収束性および一般化保証を有する。

ABSTRACT

Learning nonlinear dynamics from diffusion data is a challenging problem since the individuals observed may be different at different time points, generally following an aggregate behaviour. Existing work cannot handle the tasks well since they model such dynamics either directly on observations or enforce the availability of complete longitudinal individual-level trajectories. However, in most of the practical applications, these requirements are unrealistic: the evolving dynamics may be too complex to be modeled directly on observations, and individual-level trajectories may not be available due to technical limitations, experimental costs and/or privacy issues. To address these challenges, we formulate a model of diffusion dynamics as the {\em hidden stochastic process} via the introduction of hidden variables for flexibility, and learn the hidden dynamics directly on {\em aggregate observations} without any requirement for individual-level trajectories. We propose a dynamic generative model with Wasserstein distance for LEarninG dEep hidden Nonlinear Dynamics (LEGEND) and prove its theoretical guarantees as well. Experiments on a range of synthetic and real-world datasets illustrate that LEGEND has very strong performance compared to state-of-the-art baselines.

研究の動機と目的

• 個々の縦断的軌道が入手不可能な状況において、複雑な非線形拡散ダイナミクスを学習する課題に対処すること。
• 完全な個体追跡が不要な状態で、変化する集計観測値を支配する連続的な確率的隠れ過程をモデル化すること。
• 動的パrameter推定および隠れ状態推論のための尤度フリーかつ事後分布フリーな学習フレームワークを開発すること。
• 提案手法に対して一般化および収束の理論的保証を提供すること。
• 細胞分化および鳥類の渡りを含む合成および実世界のデータセット上で、フレームワークの実験的妥当性を検証すること。

提案手法

• 隠れ状態空間 $X_t$ における連続的な確率的微分方程式（SDE）として、もとのダイナミクスを定式化する。
• 観測値 $Y_t$ を隠れ状態の非線形関数 $\mathbf{f}(X_t)$ としてモデル化することで、複雑な観測写像を可能にする。
• 深層ニューラルネットワーク（例：LSTMを備えたRNN）を用いて、ドリフト関数 $\mathbf{g}(X_t)$ および観測関数 $\mathbf{f}(X_t)$ をパrameter化する。
• 予測された観測値の周辺分布と真の周辺分布の間のWasserstein距離を最適化することで、モデルパラメータを最適化する。
• 分布マッチングを用いて、同時に隠れダイナミクスと観測写像を学習する動的生成モデルを適用する。
• 尤度に基づく推定や事後分布推論を回避し、トレーニング目的関数として分布の不一致を用いる。

実験結果

リサーチクエスチョン

• RQ1 尤度フリーかつ事後分布フリーな学習フレームワークとして、深層生成モデルは個体レベルの軌道が存在しない集計観測から複雑な非線形ダイナミクスを学習できるか？
• RQ2 Wasserstein距離は、隠れ動的システムにおける尤度ベースの学習の代替として効果的であるか？
• RQ3 提案されたフレームワークは、フィルタリングおよびスムージングタスクにおいて、最先端のベースラインを上回る性能を達成できるか？
• RQ4 尤度フリーかつ事後分布フリーな設定において、一般化および収束に関する理論的保証を提供できるか？
• RQ5 モデルは多次元ダイナミクスにおける周辺分布および相関構造を両方とも適切に捉えることができるか？

主な発見

• LEGENDは、遺伝子発現データにおけるフィルタリング（D7）およびスムージング（D4）タスクにおいて、すべてのベースラインを上回る最低のWasserstein誤差を達成した。
• Krt8およびKrt18の予測周辺分布は、図3に示すように真の分布とよく一致しており、ダイナミックな進化の正確なモデル化を示している。
• 図4に示すように、LEGENDはKrt8とKrt18間の時間的相関構造を効果的に捉えており、ベースラインよりも真の値に近い予測を実現した。
• 渡り鳥のデータにおいても、フィルタリング（6月）およびスムージング（4月）タスクで、すべてのタスクで最低のWasserstein誤差を達成し、実世界の複雑なダイナミクスに対するロバストネスを示した。
• 理論的分析により、一般化および収束の保証が確立され、このクラスの尤度フリーかつ事後分布フリーな動的学習フレームワークにおいて、初めての保証が得られた。
• 特に、非常に非線形的で不規則な環境要因の影響を受ける状況（例：渡り鳥の移動）においても、モデルは強力な性能を示した。