[論文レビュー] Neural SDE: Stabilizing Neural ODE Networks with Stochastic Noise

Xuanqing Liu, Tesi Xiao+4 more|arXiv (Cornell University)|Jun 5, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用数 89

ひとこと要約

本論文は Neural SDE を提案します。これは Neural ODEs の確率微分方程式ベースの拡張であり、ノイズ（例：ドロップアウト、ガウスノイズ）を注入して連続ネットワークを正則化・安定化させ、汎化性能と敵対的・非敵対的な摂動に対する堅牢性を向上させます。

ABSTRACT

Neural Ordinary Differential Equation (Neural ODE) has been proposed as a continuous approximation to the ResNet architecture. Some commonly used regularization mechanisms in discrete neural networks (e.g. dropout, Gaussian noise) are missing in current Neural ODE networks. In this paper, we propose a new continuous neural network framework called Neural Stochastic Differential Equation (Neural SDE) network, which naturally incorporates various commonly used regularization mechanisms based on random noise injection. Our framework can model various types of noise injection frequently used in discrete networks for regularization purpose, such as dropout and additive/multiplicative noise in each block. We provide theoretical analysis explaining the improved robustness of Neural SDE models against input perturbations/adversarial attacks. Furthermore, we demonstrate that the Neural SDE network can achieve better generalization than the Neural ODE and is more resistant to adversarial and non-adversarial input perturbations.

研究の動機と目的

• 連続的な枠組みで確率的ノイズを導入することにより Neural ODEs における正則化の欠如を動機づけ、解決する。
• 連続的動力学設定の中で一般的な正则化手法（ドロップアウト、ガウスノイズ）を実装できる Neural SDE モデルを開発する。
• パスワイズ勾配と確率制御の概念を活用して Neural SDE の学習のためのスケーラブルなバックプロパゲーション法を導出する。
• 確率性が動的系を安定化し、摂動に対する堅牢性を高めることを示す理論分析を提供する。
• CIFAR-10、STL-10、Tiny-ImageNet データセットで Neural SDE が汎化性と堅牢性を改善することを経験的に検証する。

提案手法

• ニューラルダイナミクスを確率微分方程式として定式化する: dh_t = f(h_t,t;w) dt + G(h_t,t;v) dB_t ただし B_t はブラウン運動である。
• 拡散項 G(h_t,t;v) の適切な選択によって、加法的・乗法的ノイズ・ドロップアウト様のノイズなど様々なノイズ型をモデル化する。
• パスワイズ勾配に基づくバックプロパゲーション手法を開発し、∂h_{t1}/∂w を効率的に計算するために SDE に従う補助変数 β_t を導入する。
• 確率的リャプノフ法を用いた安定性解析を提供し、適切に設計された拡散が摂動を安定化できることを示す。
• 特徴量抽出器と分類器の間に Neural SDE モジュールを配置し、ドロップイン正則化コンポーネントとして機能する実用的なアーキテクチャを概説する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルODEに確率的ノイズを注入することは、離散的正则化手法（ドロップアウト、ガウスノイズ）と同様に汎化性を向上させることができるだろうか？
• RQ2 標準的な正則化形態（ドロップアウト、加法/乗法ノイズ）をニューラルネットワークの連続的な SDE ダイナミクスへどのように写像できるか？
• RQ3 Neural SDE 理論は、摂動や敵対的攻撃に対する堅牢性の改善を説明する安定性保証を提供するか？
• RQ4 Neural ODE の学習と同等の規模感・メモリ効率を持つ勾配法を設計して Neural SDE を訓練できるか？
• RQ5 標準的なビジョンベンチマーク全体で、 Neural SDE は精度と堅牢性に測定可能な向上をもたらすか？

主な発見

• Neural SDE は、連続時間枠内で一般的な正則化戦略（ドロップアウト、加法/乗法ガウスノイズ）を再現できる。
• パス-wise 勾配法は、 Neural SDE の訓練のための無偏推定量を提供し、メモリを削減できる（ Neural ODE の adjoint 法と比較可能）。
• 理論的安定性解析は、適切に設計された拡散項が入力摂動に対してシステムを頑健にし、場合によっては摂動がほとんどなる確信的に指数安定になることを示す。
• CIFAR-10、STL-10、Tiny-ImageNet で Neural ODEs より汎化性が向上する実証結果を示し、CIFAR-10 の精度が 81.63%（ODE）から最大 84.55%（テスト時 TTN を用いた Neural SDE）へと向上する等の利得を示す。
• Neural SDE は非 adversarial の劣化や adversarial 摂動に対する堅牢性も向上させ、いくつかの攻撃・劣化設定で Neural ODE より優れている。