[論文レビュー] Opening the Blackbox: Accelerating Neural Differential Equations by Regularizing Internal Solver Heuristics

Avik Pal, Yingbo Ma+2 more|arXiv (Cornell University)|May 9, 2021

Model Reduction and Neural Networks参考文献 46被引用数 4

ひとこと要約

本論文では、訓練コストを増加させることなく、予測時間の短縮を実現する、神経微分方程式（NDEs）のための新しい正則化手法を提案する。この手法は、内部のソルバーヒューリスティクス（局所誤差とスティフネス推定）を活用し、予測時間の短縮を1.84倍まで達成する。訓練コストの増加なしに、高次導関数法を上回る性能を発揮しながら、モデルの精度を維持する。

ABSTRACT

Democratization of machine learning requires architectures that automatically adapt to new problems. Neural Differential Equations (NDEs) have emerged as a popular modeling framework by removing the need for ML practitioners to choose the number of layers in a recurrent model. While we can control the computational cost by choosing the number of layers in standard architectures, in NDEs the number of neural network evaluations for a forward pass can depend on the number of steps of the adaptive ODE solver. But, can we force the NDE to learn the version with the least steps while not increasing the training cost? Current strategies to overcome slow prediction require high order automatic differentiation, leading to significantly higher training time. We describe a novel regularization method that uses the internal cost heuristics of adaptive differential equation solvers combined with discrete adjoint sensitivities to guide the training process towards learning NDEs that are easier to solve. This approach opens up the blackbox numerical analysis behind the differential equation solver's algorithm and directly uses its local error estimates and stiffness heuristics as cheap and accurate cost estimates. We incorporate our method without any change in the underlying NDE framework and show that our method extends beyond Ordinary Differential Equations to accommodate Neural Stochastic Differential Equations. We demonstrate how our approach can halve the prediction time and, unlike other methods which can increase the training time by an order of magnitude, we demonstrate similar reduction in training times. Together this showcases how the knowledge embedded within state-of-the-art equation solvers can be used to enhance machine learning.

研究の動機と目的

• 神経微分方程式（NDEs）における推論の計算コストの高さ、特に適応的ODEソルバーのステップ数依存性を解決すること。
• 訓練コストの増加なしに予測時間を短縮し、NDEの実装における主要なボトル neck を解消すること。
• 高価な高次導関数ではなく、内部のソルバーステータス（局所誤差とスティフネス）を用いた正則化戦略を開発し、解きやすい動的挙動をモデルが学習するように導くこと。
• ODEにとどまらず、神経ストキャスティック微分方程式（SDEs）への応用を拡張し、広範な適用可能性を示すこと。
• 既存のNDEフレームワークと互換性がある即挿し可能なソリューションを提供し、コミュニティの広範な採用を促進すること。

提案手法

• 本手法は、統合中に内部で計算される局所誤差推定値とスティフネスヒューリスティクスに基づく正則化を導入する。
• これらのソルバ内メトリクスは、低コストで高精度なコストプロキシとして機能し、神経ネットワーク関数評価回数（NFE）を減らす方向に学習を誘導する。
• 正則化は離散的アドジョイント感度を介して適用され、下流のNDEアーキテクチャを変更せずに、ソルバー内部論理を効率的にバックプロパゲート可能となる。
• JuliaベースのSciMLエコシステムを用いて実装され、既存のNDEフレームワークへのシームレスな統合を可能にする。
• ノイズに敏感なヒューリスティクスを組み込むことで、神経SDEへ自然に拡張可能であり、効率性と正確性を維持する。
• 高次自動微分を回避することで、訓練効率を保ちながら、より高価な代替手法と同等のパフォーマンス向上を達成する。

実験結果

リサーチクエスチョン

• RQ1 内部のソルバーヒューリスティクスを用いて、NDEを正則化することで、訓練コストの増加なしに予測時間を短縮できるか？
• RQ2 局所誤差とスティフネス推定値は、高次導関数に基づく正則化と比較して、推論速度と訓練効率においてどのように異なるか？
• RQ3 この正則化戦略は、ODEにとどまらず、対角的乗法的ノイズを伴う神経SDEに対しても一般化可能か？
• RQ4 ソルバ内統計を用いることで、推論時の収束速度と関数評価回数が向上し、モデルの正確性を維持できるか？
• RQ5 ソルバーやモデルアーキテクチャを変更せずに、数値解析のヒューリスティクスを活用してNDEを高速化する方法はあるか？

主な発見

• 提案手法は、教師あり分類および時系列タスクにおいて、平均1.84倍の予測時間の高速化を達成し、Spiral方程式では神経関数評価回数（NFE）を1083.0から676.2に削減した。
• 訓練時間は平均1.45倍短縮され、NDEにおける正則化で一般的に見られる高い計算コストを伴わないことが示された。
• 局所誤差とスティフネス推定値に基づく正則化は、高次導関数法と同等のパフォーマンスを発揮するが、訓練時間のペナルティがない。
• 画像分類タスクでは誤差ベース正則化がより効果的であったが、時系列問題ではスティフネス正則化がより顕著な向上を示し、タスクに応じた最適な正則化タイプの存在を示唆した。
• 本手法は神経SDEへ一般化可能であり、下流のNDEフレームワークを変更せずに適用可能であり、広範な採用を可能にする。
• 本手法はODEソルバーのブラックボックスを「開く」ことに成功し、内部のヒューリスティクスを活用してモデル学習を導くことで、埋め込まれた数値解析の知識がディープラーニングの効率性を向上させられることを示した。