[論文レビュー] Interpolated Adjoint Method for Neural ODEs.

Talgat Daulbaev, Alexandr Katrutsa+4 more|arXiv (Cornell University)|Mar 11, 2020

Model Reduction and Neural Networks参考文献 29被引用数 7

ひとこと要約

本論文では、前方積分中に記録された状態の滑らかな関数補間を用いて、逆伝搬中に前方軌道を再構築することにより、Neural ODE の学習を安定化するための新しい手法、補間された随伴法を提案する。直接の随伴積分を避けることで、剛性と数値的不安定性が軽減され、実際の学習安定性と収束性が顕著に向上する。

ABSTRACT

In this paper, we propose a method, which allows us to alleviate or completely avoid the notorious problem of numerical instability and stiffness of the adjoint method for training neural ODE. On the backward pass, we propose to use the machinery of smooth function interpolation to restore the trajectory obtained during the forward integration. We show the viability of our approach, both in theory and practice.

研究の動機と目的

• Neural ODE の学習に用いる標準的随伴法に内在する数値的不安定性および剛性問題に対処すること。
• 数値的に感受性の高い随伴系の直接積分を回避する逆伝搬メカニズムの開発。
• 補間を用いた前方軌道の再構築により、Neural ODE における安定的かつ正確な誤差逆伝搬を可能にすること。
• 従来の随伴計算に対する理論的に妥当かつ実用的に効果的な代替手法を提供すること。

提案手法

• 前方積分中に記録された状態の滑らかな関数補間を用いて、逆伝搬中に前方軌道を再構築する。
• 随伴ODEを解くのではなく、保存された中間状態からの補間により、数値的に感受性の高い随伴積分への依存度を低減する。
• 高次の補間スキームを活用して、状態軌道の滑らかで正確な再構築を実現する。
• 補間された軌道を用いてチェーンルールにより勾配を計算し、時間前方への随伴系の積分を回避する。
• 標準的なODEソルバと互換性があり、既存の Neural ODE フレームワークへの統合が最小限の変更で可能である。
• 理論的分析により、適切な補間条件下で一貫性と収束性が保たれることを示している。

実験結果

リサーチクエスチョン

• RQ1 補間による軌道再構築が、勾配の正確性を損なわずに、Neural ODE における随伴ODE積分を効果的に置き換えることができるか？
• RQ2 補間アプローチは、標準的随伴法と比較して数値的剛性を軽減し、学習安定性を向上させるか？
• RQ3 Neural ODE の学習における収束性と一般化性を維持するには、どの程度の補間精度が必要か？
• RQ4 異なるODEソルバーやニューラルネットワークアーキテクチャにおいて、この手法はどのように動作するか？
• RQ5 顕著な計算オーバーヘッドを伴わず、効率的に実装可能か？

主な発見

• 補間された随伴法は、直接の随伴積分を回避することで、Neural ODE の学習における数値的不安定性と剛性を効果的に軽減した。
• 標準的随伴法が失敗または発散するような剛性ODE問題に対しても、安定した学習が可能になった。
• 補間による勾配計算は、実証的評価で示されるように、効果的なモデル最適化に十分な正確性を維持している。
• 通常、標準的随伴逆伝搬では不安定である高次ODEソルバーでも、信頼性のある学習が可能になった。
• 特に剛性ダイナミクスを示す設定において、標準的随伴法の実用的で頑健な代替手法を提供している。