[論文レビュー] Time Dependence in Non-Autonomous Neural ODEs

Jared Quincy Davis, Krzysztof Choromański+7 more|arXiv (Cornell University)|May 5, 2020

Model Reduction and Neural Networks被引用数 7

ひとこと要約

この論文は、学習可能な滑らかな関数を通じて時間に明示的に依存するモデル重みを持つ非自己準拠ニューラルODE（NANODE）を導入する。これにより、軌道の交差と普遍近似が可能になる。時間依存重みを三角関数的または区分的多項式基底でパラメータ化することで、優れた表現力とメモリ効率が実現され、CIFAR-100および動画予測タスクにおいてResNetやCNNを上回り、随伴法により常に一定のメモリコストを維持する。

ABSTRACT

Neural Ordinary Differential Equations (ODEs) are elegant reinterpretations of deep networks where continuous time can replace the discrete notion of depth, ODE solvers perform forward propagation, and the adjoint method enables efficient, constant memory backpropagation. Neural ODEs are universal approximators only when they are non-autonomous, that is, the dynamics depends explicitly on time. We propose a novel family of Neural ODEs with time-varying weights, where time-dependence is non-parametric, and the smoothness of weight trajectories can be explicitly controlled to allow a tradeoff between expressiveness and efficiency. Using this enhanced expressiveness, we outperform previous Neural ODE variants in both speed and representational capacity, ultimately outperforming standard ResNet and CNN models on select image classification and video prediction tasks.

研究の動機と目的

• 自己準拠ニューラルODEの表現的制限を解消する。これは、軌道が交差しないため、非一対一または非可逆写像をモデル化できないためである。
• 重み行列に明示的かつ非パrametricな時間依存性を導入することで、ニューラルODEにおける普遍近似を実現する。
• バックプロパゲーション中に常に一定のメモリコストを維持する、メモリ効率の高いアーキテクチャを設計する。これにより、標準のResNetやCNNよりも高い表現力を達成する。
• 非自己準拠系の安定した学習と、特に直交群における滑らかな多様体上の流れとの間の関係を調査する。
• メモリ制約下で、画像分類および動画予測タスクにおいて最先端の性能を示す。

提案手法

• 時間に依存する重み $ \theta(t; \alpha) $ を持つ、新たなニューラルODEのクラスを提案。動的システムは $ \dot{x} = f(x, \theta(t; \alpha)) $ で記述される。
• 時間依存重みをパラメータ化するために、三角関数的または区分的多項式基底関数 $ \phi(t, \theta_{ij}) $ を用い、滑らかさと表現力の両立を明示的に制御可能にする。
• 随伴法を用いたバックプロパゲーションにより、統合深度や時間離散化にかかわらず常に一定のメモリコストを確保する。
• 随伴感度法を用いた可逆アーキテクチャを実装し、活性化関数のメモリを最小限に抑えた効率的な学習を可能にする。
• 時間依存性を入力に付加するのではなく、学習可能な係数 $ \alpha $ を持つ時間関数として明示的にモデル化する。これにより、時間と入力特徴量が分離される。
• 安定した学習と、特に $ \mathcal{O}(d) $ における滑らかな多様体上の流れとの理論的関係を調査し、勾配の爆発・消失を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 時間依存重みを持つ非自己準拠ニューラルODEは、自己準拠系の制限を克服し、普遍近似を達成できるか？
• RQ2 ニューラルODEにおける時間依存性をどのようにパラメータ化すれば、表現力と計算効率のバランスを取れるか？
• RQ3 時間依存重みの軌道における滑らかさが、モデル性能および学習安定性に与える影響は何か？
• RQ4 非自己準拠ニューラルODEは、メモリ制約下でも標準のResNetやCNNを上回り、かつ常に一定のメモリ使用量を維持できるか？
• RQ5 非自己準拠系の安定した学習と、特にコンact多様体上の幾何的流れとの間には、どのような理論的関係があるか？

主な発見

• NANODEはCIFAR-100画像分類タスクで標準のResNetやCNNを上回り、同等またはより高い精度で低いテスト損失を達成した。
• Moving MNIST動画予測タスクでは、10時間の学習後でもSVGベースラインよりも速く収束し、より低い最終損失に到達した。
• Moving MNISTではテストELBOが8.5e-6、BAIR Robot Pushing Smallでは7.6e-5を達成し、SVGおよび自己準拠NODEベースラインを上回った。
• 時間ステップ数未満の離散化次数では、三角関数的時間処理が区分的定数（Bucket）処理を上回り、滑らかさの利点が顕著に現れた。
• 理論的潜在能力にかかわらず、ハイパーネットワークベースの時間重みパラメータ化は、実験では自己準拠NODEを上回る性能を示さなかった。
• NANODEアーキテクチャは、自己準拠NODEと同等の小さな活性化メモリフットプリント（4.7 GB）を維持しながら、はるかに多くのパラメータ（1.9e-2 GB）を使用しており、優れたパラメータ効率を示した。