[論文レビュー] Neural Stochastic Differential Equations: Deep Latent Gaussian Models in the Diffusion Limit
本論文は深層潜在ガウスモデルの拡散限界としてニューラルSDEを展開し、Wiener空間ADとGirsanov再パラメータ化を用いた内生学習可能な変分推論フレームワークを提示する。
In deep latent Gaussian models, the latent variable is generated by a time-inhomogeneous Markov chain, where at each time step we pass the current state through a parametric nonlinear map, such as a feedforward neural net, and add a small independent Gaussian perturbation. This work considers the diffusion limit of such models, where the number of layers tends to infinity, while the step size and the noise variance tend to zero. The limiting latent object is an It\\^o diffusion process that solves a stochastic differential equation (SDE) whose drift and diffusion coefficient are implemented by neural nets. We develop a variational inference framework for these \ extit{neural SDEs} via stochastic automatic differentiation in Wiener space, where the variational approximations to the posterior are obtained by Girsanov (mean-shift) transformation of the standard Wiener process and the computation of gradients is based on the theory of stochastic flows. This permits the use of black-box SDE solvers and automatic differentiation for end-to-end inference. Experimental results with synthetic data are provided.
研究の動機と目的
- 拡散限界を介して深層潜在ガウスモデル（DLGMs）を連続時間動力学へ拡張する動機。
- ドリフトと拡散がニューラルネットによって実装されるニューラルSDEを定義する。
- ワイナー測度とGirsanov再パラメトリゼーションを用いたパス空間上の変分推論フレームワークを開発する。
- ブラックボックスSDEソルバーと自動微分を用いたエンドツーエンド学習を可能にする。」],
- method':['潜在的ランダムネスをワイナー過程によって表現し、潜在空間をワイナー測度の下のワイナー空間として定式化する。','パス空間上のGibbs変分原理を用いて周辺対数尤度の変分界を導出し、事後近似を平均シフト（Girsanov）と関連付ける。','観測に依存するニューラルネットのドリフトをワイナー過程に付加した平均場変分族を提案する。','ブラックボックスSDEソルバーを用いた自動微分を通じて、ワイナー空間での勾配計算を実行する方法を説明する。','勾配推定の2つのアプローチを検討する：solve-then-differentiate（Eulerバックプロパゲーション）と、differentiate-then-solve（確率的フローによるパスに沿った微分）。','拡散限界におけるニューラルSDEをDLGMに関連付け、既存のニューラルODE系と結びつける。'],
- research_questions':['ニューラルSDEは、DLGMアーキテクチャの拡散限界を介して標的分布を表現力豊かに近似できるか？','Girsanov再パラメトリゼーションを用いて、ニューラルSDEのパス空間上で変分推論をどのように定式化できるか？','ブラックボックスSDEソルバーを通じて逆伝播を行い、ニューラルSDEをエンドツーエンドで学習するための実践的戦略は何か？','ニューラルSDEパラメータのパスに沿った微分を可能にする上で、確率的フローの役割は何か？'],
- key_findings':['ニューラルSDEは、ドリフトと拡散がニューラルネットによって実装された拡散過程を介して標的分布を表現できる。','周辺尤度の変分界は、パス空間のGibbs原理とGirsanov再パラメトリゼーションを用いて得られる。','勾配計算は、ブラックボックスSDEソルバーを用いてワイナー空間で自動微分で実行でき、Eulerバックプロパゲーションまたはパスウェイズ微分のいずれかを用いる。','このアプローチは、ブラックボックスSDEソルバーを用いてニューラルSDEにおけるエンドツーエンドの変分推論を可能にするフレームワークを提供する。','ニューラルSDEとDLGMの拡散限界との関連を描き、ニューラルODEの概念を確率的な連続時間モデルへ拡張する。'],
- table_headers: [],
- table_rows: []} } ��� {Oops} Wait this is malformed. Need proper JSON. Let's rewrite cleanly. }
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。