[論文レビュー] Neural Stochastic Differential Equations.

Stefano Peluchetti, Stefano Favaro|arXiv (Cornell University)|May 27, 2019

Neural Networks and Applications被引用数 2

ひとこと要約

本論文は、無限に深い残差ネットワークと確率微分方程式（SDE）の間の関係を確立し、このようなネットワークが連続時間の拡散過程に収束することで、勾配消失や病理的関数族を回避することを示している。主な貢献は、深層学習のダイナミクスとSDEを結びつける理論的枠組みを提供することであり、無限の深さの極限において、良好に動作する表現が得られることを可能にしている。

ABSTRACT

Deep neural networks whose parameters are distributed according to typical initialization schemes exhibit undesirable properties that can emerge as the number of layers increases. These issues include a vanishing dependency on the input and a concentration on restrictive families of functions including constant functions. We address these problems by considering the limit of infinite total depth and examine the conditions under which we achieve convergence to well-behaved continuous-time processes. Doing so we establish the connection between infinitely deep residual networks and solutions to stochastic differential equations, i.e. diffusion processes. We show that deep neural networks satisfying such connection don't suffer from the mentioned pathologies and analyze the SDE limits to shed light on their behavior.

研究の動機と目的

• 非常に深いニューラルネットワークにおける病理的挙動（例：入力依存性の消失、定数関数への集中）を解消すること。
• 深さが無限に近づく際の深層残差ネットワークの極限を調査し、連続時間ダイナミクスの出現に注目すること。
• 無限の深さの極限において、残差ネットワークと確率微分方程式（SDE）を結びつける理論的基盤を確立すること。
• 得られたSDE極限を分析し、このようなネットワークの関数的挙動と表現力の理解を深めること。
• SDEに基づくネットワークが、標準的な初期化を用いた有限深さアーキテクチャで見られる病理的挙動を回避することを示すこと。

提案手法

• 層数が無限に近づく際の残差ネットワークの極限を分析し、ネットワークの深さを連続変数として扱う。
• 残差ブロックの更新を、確率微分方程式（SDE）の離散時間近似としてモデル化し、伊藤積分を用いて形式的導出を行う。
• 連続極限において定義された拡散過程を導くパラメータ初期化スキームを検討し、安定性を確保する。
• SDE理論を適用して、ネットワーク出力分布および入力依存性の極限的挙動を特徴付ける。
• 連続極限における隠れ状態の確率密度の時間発展を分析するために、Fokker-Planck方程式を用いる。
• 適切な条件下で、ネットワークのダイナミクスが退化しない拡散過程に収束することを示す。これにより、定数関数への退化を回避できる。

実験結果

リサーチクエスチョン

• RQ1 標準的な初期化スキームのもとで、深層残差ネットワークが無限の深さに近づく極限でどのように振る舞うか？
• RQ2 無限に深い残差ネットワークのダイナミクスは、連続時間の確率過程として記述可能か？
• RQ3 残差ネットワークのSDE極限は、有限深さのネットワークで観察される入力依存性の消失や定数関数への集中を回避できるか？
• RQ4 初期化およびネットワークアーキテクチャにどのような条件が課されると、良好に動作する拡散過程への収束が保証されるか？
• RQ5 SDE極限におけるネットワークの関数的表現力は、有限深さの対応物と比べてどのように変化するか？

主な発見

• 適切な初期化のもとで、無限深さの残差ネットワークは、退化しない挙動を示すSDEの解に収束する。
• 極限におけるSDEは、非退化で非定数の挙動を示し、ネットワークが入力に意味のある依存性を維持できることを保証する。
• ネットワークの出力分布はFokker-Planck方程式に従い、隠れ状態の確率密度の時間依存的変化を特徴付ける。
• SDE極限により、深さが無限に増大してもネットワークが定数関数に崩壊することはない。
• SDEとの関係は、非常に深いネットワークの表現力と安定性の向上を理論的に説明する手がかりを提供する。
• この枠組みにより、標準的な初期化スキームは有限深さでは病理的挙動を引き起こすが、無限深さの極限ではSDE収束によって安定化されること revealed された。