[論文レビュー] Stochasticity in Neural ODEs: An Empirical Study

V. V. Oganesyan, Alexandra Volokhova+1 more|arXiv (Cornell University)|Feb 22, 2020

Model Reduction and Neural Networks参考文献 15被引用数 7

ひとこと要約

この論文は、確率的微分方程式を用いてニューラルODEをニューラルSDEに拡張することで、ニューラルODEにおける確率的正則化を実証的に調査している。その結果、データ拡張が行われない状況では確率的正則化が一般化性能を向上させるが、データ拡張そのものだけで同等の性能が達成されるため、画像分類タスクにおいては確率的正則化は有効でないことがわかった。

ABSTRACT

Stochastic regularization of neural networks (e.g. dropout) is a wide-spread technique in deep learning that allows for better generalization. Despite its success, continuous-time models, such as neural ordinary differential equation (ODE), usually rely on a completely deterministic feed-forward operation. This work provides an empirical study of stochastically regularized neural ODE on several image-classification tasks (CIFAR-10, CIFAR-100, TinyImageNet). Building upon the formalism of stochastic differential equations (SDEs), we demonstrate that neural SDE is able to outperform its deterministic counterpart. Further, we show that data augmentation during the training improves the performance of both deterministic and stochastic versions of the same model. However, the improvements obtained by the data augmentation completely eliminate the empirical gains of the stochastic regularization, making the difference in the performance of neural ODE and neural SDE negligible.

研究の動機と目的

• ニューラルSDEを用いた確率的正則化が、連続時間における深層学習モデルの一般化性能を向上させるかどうかを調査すること。
• 画像分類ベンチマークにおいて、決定的ニューラルODEと確率的ニューラルSDEの性能を比較すること。
• ニューラルODEおよびSDEの文脈において、データ拡張が決定的モデルおよび確率的モデルに与える影響を評価すること。
• バッチ正則化がニューラルODEにおける動的関数に与える役割と、トレーニングの安定性および性能への影響を検討すること。
• ニューラルSDEにおける決定的軌道の期待予測が、テスト時に信頼できる推定値であるかどうかを評価すること。

提案手法

• ODEのダイナミクスに拡散項を導入することで、ニューラルODEを確率的微分方程式（SDE）として形式化する。
• トレーニングおよび推論の両方で、SDEの数値積分にEuler–Maruyama法を用いる。
• テスト時推論において、複数の確率的軌道にわたるモンテカルロ平均を用いて期待予測を推定する。
• CIFAR-10、CIFAR-100、TinyImageNetで、データ拡張の有無にかかわらずモデルをトレーニングおよび評価する。
• 同じアーキテクチャ的および正則化条件のもとで、ResNet、ニューラルODE、ニューラルSDEの性能を比較する。
• 決定的テスト時推論におけるニューラルSDEのバイアスを、確率的軌道の期待予測と比較することで評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルSDEによる確率的正則化は、画像分類タスクにおいて決定的ニューラルODEよりも一般化性能を向上させるか？
• RQ2 データ拡張は、ニューラルODEにおける確率的正則化の性能向上をどの程度緩和または解消するか？
• RQ3 ニューラルODEの動的関数内にバッチ正則化を組み込むと、トレーニングおよび推論性能にどのような影響を与えるか？
• RQ4 ニューラルSDEにおける決定的軌道は、確率的軌道の期待予測を信頼できる推定値として提供できるか？
• RQ5 データ拡張が制限されたり不可能な状況では、ニューラルSDEがResNetやニューラルODEを上回る性能を発揮できるか？

主な発見

• データ拡張が行われない状況では、ニューラルSDEが決定的ニューラルODEよりも一般化性能で優れている。
• データ拡張そのだけで、確率的正則化の性能向上と同等の水準に達するため、標準的な画像分類設定では追加の確率的要素が無効であることがわかった。
• データ拡張が適用されている場合、ニューラルODEとニューラルSDEの性能差はほとんどないため、データ拡張が確率的正則化の効果を吸収していることが示唆された。
• ニューラルSDEにおける決定的テスト時推論は、期待予測のバイアスのある推定値をもたらし、特にデータ拡張を適用したTinyImageNetでは顕著な性能低下が観察された。
• ニューラルODEの動的関数内にバッチ正則化を組み込むと、除外した場合よりも性能が悪くなることが多く、統合プロセスにおける不安定性が示唆された。
• ResNetは画像分類タスクにおいて、時としてニューラルODEを上回る性能を示した。これは、より正確な統合が、この文脈では表現力や性能を必ずしも向上させないことを示している。