[論文レビュー] On Robustness of Neural Ordinary Differential Equations

Hanshu Yan, Jiawei Du+2 more|arXiv (Cornell University)|Oct 12, 2019

Model Reduction and Neural Networks参考文献 34被引用数 39

ひとこと要約

実証的にODENetはGaussianノイズと敵対的摂動に対してCNNより頑健であることを示し、Time-invariant Steady Neural ODEs (TisODE) を導入して頑健性をさらに高め、MNIST、SVHN、ImgNet10 データセットでの結果を報告する。

ABSTRACT

Neural ordinary differential equations (ODEs) have been attracting increasing attention in various research domains recently. There have been some works studying optimization issues and approximation capabilities of neural ODEs, but their robustness is still yet unclear. In this work, we fill this important gap by exploring robustness properties of neural ODEs both empirically and theoretically. We first present an empirical study on the robustness of the neural ODE-based networks (ODENets) by exposing them to inputs with various types of perturbations and subsequently investigating the changes of the corresponding outputs. In contrast to conventional convolutional neural networks (CNNs), we find that the ODENets are more robust against both random Gaussian perturbations and adversarial attack examples. We then provide an insightful understanding of this phenomenon by exploiting a certain desirable property of the flow of a continuous-time ODE, namely that integral curves are non-intersecting. Our work suggests that, due to their intrinsic robustness, it is promising to use neural ODEs as a basic block for building robust deep network models. To further enhance the robustness of vanilla neural ODEs, we propose the time-invariant steady neural ODE (TisODE), which regularizes the flow on perturbed data via the time-invariant property and the imposition of a steady-state constraint. We show that the TisODE method outperforms vanilla neural ODEs and also can work in conjunction with other state-of-the-art architectural methods to build more robust deep networks.

研究の動機と目的

• Gaussianノイズおよび敵対的摂動下でのニューラルODEベースのネットワーク（ODENets）の頑健性を評価する。
• 複数のデータセット（MNIST、SVHN、ImgNet10）にわたってODENetsと従来のCNNを比較する。
• 連続時間ODEの流れ特性を通じてODENetsの固有の頑健性特性を理解する。
• 時間不変性と定常状態制約に基づく頑健性強化拡張（TisODE）を提案・評価する。

提案手法

• モデルアーキテクチャ：ODENetは特徴抽出器、ニューラルODEマッパー、全結合分類器から構成され、標準データまたは摂動データで学習される。
• Gaussianノイズ、FGSM対向サンプル、PGD対向サンプルを用いた摂動頑健性評価。パラメータ数が同程度のCNNと比較する。
• ODENetの頑健性を説明するためのODE流れの非交差積分曲線性質を活用した経験的分析（定理：ODENetの積分曲線は交差しない）。
• ダイナミクスから時間依存を取り除き、出力の時間発散を抑える定常状態正則化項L_ssを追加して、Time-invariant Steady Neural ODE（TisODE）を導入する。
• 摺動に対するTisODEの頑健性を評価し、FDn、IRなど他の頑健化手法とドロップインモジュールとしての互換性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ODENetsは標準的な視覚データセット全体でGaussian摂動および敵対攻撃に対してCNNより頑健性が高いか。
• RQ2 ニューラルODE流れの固有特性（非交差積分曲線）がODENetsに観察された頑健性を説明できるか。
• RQ3 時間不変性・定常状態を持つニューロナルODE（TisODE）は従来のODENetsより追加の頑健性を提供するか、そして他の頑健化手法を補完できるか。

主な発見

• ODENetsはGaussianノイズおよびFGSM/PGD対向者に対して、MNIST、SVHN、ImgNet10でCNNを上回る頑健性を示す。
• ODENetsは強い摂動下でも高い精度を維持する（例：MNISTでGaussian σ=100: 73.2% vs CNN 56.4%、FGSM-0.3: MNISTで42.1% vs 14.3%）。
• ODE流れの非交差積分曲線性質はCNNには存在しないODENetsの内的頑健性機構を提供する。
• TisODEは摂動全般でベースODENetsより頑健性をさらに高め、MNISTのFGSM/PGD攻撃およびSVHN/ImgNet10テストで顕著な改善を示す。
• TisODEは頑健性を高める多用途なドロップインとして機能し、特徴デノイジングや入力のランダム化技術と組み合わせてさらなる改善が得られる。
• TisODEをFDnやIRdと組み合わせることで、CNNまたはODENet単独の場合と比べて顕著な頑健性向上を得られる。