[論文レビュー] Differential Bayesian Neural Nets

Andreas Look, Melih Kandemir|arXiv (Cornell University)|Dec 2, 2019

Model Reduction and Neural Networks参考文献 12被引用数 5

ひとこと要約

本稿では、漂移項と拡散項の両方をベイジアンニューラルネットワーク（BNN）でモデル化する Differential Bayesian Neural Nets（DBNN）を紹介する。これは Neural SDE のベイジアン拡張であり、良好にキャリブレートされた不確実性評価を可能にする。予測分布の推論には、修正版 Stochastic Gradient Langevin Dynamics（SGLD）を用い、時系列予測および UCI 回帰ベンチマークにおいて、非ベイジアン手法を上回る不確実性のキャリブレーションとモデル適合性を達成した。

ABSTRACT

Neural Ordinary Differential Equations (N-ODEs) are a powerful building block for learning systems, which extend residual networks to a continuous-time dynamical system. We propose a Bayesian version of N-ODEs that enables well-calibrated quantification of prediction uncertainty, while maintaining the expressive power of their deterministic counterpart. We assign Bayesian Neural Nets (BNNs) to both the drift and the diffusion terms of a Stochastic Differential Equation (SDE) that models the flow of the activation map in time. We infer the posterior on the BNN weights using a straightforward adaptation of Stochastic Gradient Langevin Dynamics (SGLD). We illustrate significantly improved stability on two synthetic time series prediction tasks and report better model fit on UCI regression benchmarks with our method when compared to its non-Bayesian counterpart.

研究の動機と目的

• 時系列および回帰タスクにおける Neural ODE や SDE の不確実性評価が良好にキャリブレートされていないという問題に対処すること。
• 漂移項と拡散項の両方をベイジアンニューラルネットワーク（BNN）としてモデル化することで、Neural ODE を完全にベイジアンフレームワークに拡張すること。
• 原理的な事後分布推論を用いて、連続時間動的システムにおける頑健な不確実性推定を可能にすること。
• 合成および実世界の回帰タスクにおいて、非ベイジアンおよび固定ドロップアウトベースラインと比較して、より優れた安定性と予測性能を示すことを実証すること。

提案手法

• モデルは、確率微分方程式（SDE）の漂移関数と拡散関数を、それぞれ独立したベイジアンニューラルネットワーク（BNN）でパラメータ化する。
• SDE は、学習および推論における数値近似のために、Euler-Maruyama 離散化法により解かれる。
• BNN の重みに関する事後分布推論には、スケーラブルなベイジアン学習を可能にする、Stochastic Gradient Langevin Dynamics（SGLD）の修正版を用いる。
• 予測分布は、隠れ状態の平均と共分散を最終の線形層に伝搬させることで得られ、不確実性を考慮した回帰が可能になる。
• 拡散行列は、BNN の出力のコレスキー分解によりパラメータ化され、正定値性が保証され、構造化された不確実性モデリングが可能になる。
• 漂移および拡散部の両方のための柔軟なネットワークアーキテクチャをサポートしており、対角またはフル共分散構造を含む。

実験結果

リサーチクエスチョン

• RQ1 完全にベイジアンな Neural SDE の定式化は、非ベイジアンまたは固定ドロップアウト手法と比較して、時系列予測における不確実性キャリブレーションを改善できるか？
• RQ2 漂移項と拡散項の両方を BNN としてモデル化することで、合成および実世界の時系列において、モデルの安定性と予測性能にどのような影響を与えるか？
• RQ3 BNN 重みの事後分布推論に SGLD を用いることで、変分推論や固定正則化と比較して、不確実性評価がどの程度改善されるか？
• RQ4 提案手法は、既存の SDE ベースのモデルと比較して、標準的な UCI 回帰ベンチマークでより良いテスト対数尤度と不確実性キャリブレーションを達成できるか？
• RQ5 非ベイジアン SDE モデルはドロップアウト率や時間離散化のハイパーパrameter選択に対してどの程度感受的か？ベイジアンアプローチはその問題を軽減できるか？

主な発見

• DBNN は、PBP やドロップアウト、N-SDE ベースラインと比較して、全 8 組の UCI 回帰データセットでより良いもしくは同等のテスト対数尤度を達成した。
• ボストンデータセットでは、Cholesky パラメータ化を用いた DBNN が、テスト対数尤度 -2.45(0.03) を達成し、N-SDE の -2.48(0.03) を上回った。
• ナウバルデータセットでは、Cholesky パラメータ化を用いた DBNN が、テスト対数尤度 2.97(0.09) を達成し、N-SDE の 3.83(0.03) を顕著に上回った。
• 時系列予測において、DBNN は補間および外挿領域における不確実性の増加を正しく捉えており、N-SDE は過剰に滑らかでキャリブレーションされていない不確実性推定を示した。
• N-SDE はドロップアウト率が 5% を超えると収束しなかったが、DBNN は全実験で安定していた。
• 構造化された拡散（Cholesky）の使用は、いくつかのデータセットで性能向上をもたらした。これは、相関のあるノイズをモデル化することで予測不確実性が向上することを示している。