[論文レビュー] Eigen-informed NeuralODEs: Dealing with stability and convergence issues of NeuralODEs

Tobias Thummerer, Lars Mikelsons|arXiv (Cornell University)|Feb 7, 2023

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、固有値に基づく安定性、振動、周波数、減衰、剛性といったODEの性質を、微分可能な固有値演算を介して損失関数に直接組み込むことで、NeuralODEの学習安定性と収束性を向上させる、Eigen-informed NeuralODEsという手法を提案する。勾配ベースの最適化による固有値の最適化を可能にすることで、局所最適解や不安定性を回避し、Van der Pol振動子のような複雑で振動的な系において、学習のロバスト性と性能が著しく向上する。

ABSTRACT

Using vanilla NeuralODEs to model large and/or complex systems often fails due two reasons: Stability and convergence. NeuralODEs are capable of describing stable as well as instable dynamic systems. Selecting an appropriate numerical solver is not trivial, because NeuralODE properties change during training. If the NeuralODE becomes more stiff, a suboptimal solver may need to perform very small solver steps, which significantly slows down the training process. If the NeuralODE becomes to instable, the numerical solver might not be able to solve it at all, which causes the training process to terminate. Often, this is tackled by choosing a computational expensive solver that is robust to instable and stiff ODEs, but at the cost of a significantly decreased training performance. Our method on the other hand, allows to enforce ODE properties that fit a specific solver or application-related boundary conditions. Concerning the convergence behavior, NeuralODEs often tend to run into local minima, especially if the system to be learned is highly dynamic and/or oscillating over multiple periods. Because of the vanishing gradient at a local minimum, the NeuralODE is often not capable of leaving it and converge to the right solution. We present a technique to add knowledge of ODE properties based on eigenvalues - like (partly) stability, oscillation capability, frequency, damping and/or stiffness - to the training objective of a NeuralODE. We exemplify our method at a linear as well as a nonlinear system model and show, that the presented training process is far more robust against local minima, instabilities and sparse data samples and improves training convergence and performance.

研究の動機と目的

• 複雑または大規模な系に適用する際、通常のNeuralODEで見られる不安定性や収束問題を解消すること。
• 勾配が消失するような振動的・高動的な系において、局所最適解の問題を克服すること。
• 系の固有モードに関する事前知識を組み込むことで、疎なデータや不足したサンプルデータ上での学習を可能にすること。
• 安定性、周波数、減衰、剛性といったODEの性質を最適化中に強制するための汎用的で微分可能なフレームワークを提供すること。
• 剛性や不安定性のため、通常の学習では解けない系に対してもNeuralODEの適用範囲を拡張すること。

提案手法

• NeuralODEの学習プロセスにおいて、固有値演算に勾配が流れるように、微分可能な固有値および固有ベクトルの計算レイヤーを導入する。
• 解の忠実度に加え、望ましい固有値の位置（例：安定性のための負の実部、特定の減衰比、振動的挙動）に基づく勾配を含む複合損失関数を定式化する。
• 固有値がネットワーク重みに与える感度を用いて、システムダイナミクスの制約を直接モデルパラメータに逆伝播させる。
• 線形および非線形系、特にVan der Pol振動子を対象とし、変動するダイナミクス下でのロバストネスを検証する。
• Juliaプログラミング言語と、オープンソースのDifferentiableEigen.jlパッケージを用いて、エンドツーエンドの学習を可能にする微分可能な固有値分解を実装する。
• 剛性（STF）、周波数（FRQ）、減衰（DMP）、振動（OSC）といった追加の勾配を損失関数に統合し、モデルが望ましい動的挙動に近づくように誘導する。

実験結果

リサーチクエスチョン

• RQ1 固有値に基づく制約は、振動的・剛性系におけるNeuralODEの学習収束性を向上させるか？
• RQ2 固有値に依存する勾配を組み込むことで、NeuralODEが局所最適解から脱出する能力にどのような影響を与えるか？
• RQ3 系の固有モードが既知である場合、疎または不足したサンプルデータ上で、Eigen-informed NeuralODEsはどの程度の性能を示すか？
• RQ4 Van der Pol振動子のような本質的に不安定な系で、学習中に安定化できるか？
• RQ5 特に陰解法を用いた場合に、Eigen-informed学習の計算コストは、標準的なNeuralODE学習と比べてどの程度か？

主な発見

• 安定性、周波数、減衰、振動に関する固有値に基づく勾配の組み込みにより、特に振動系において収束性が著しく向上し、局所最適解に陥るのを防ぐ。
• Van der Pol振動子において、STF勾配を含む損失構成（SOL+FRQ+DMP+OSC）は、STFを含まない構成よりも収束が速く、適合性が優れている（図9参照）。
• Nyquist-Shannon標本化定理に反する疎なデータ上でも、固有モードに関する事前知識をEigen-informedアプローチで組み込むことで、学習が可能になった。
• 通常の損失関数では正しい振動的挙動に収束しなかったVan der Pol振動子に対しても、この手法によりNeuralODEの学習に成功した。
• DifferentiableEigen.jlによる微分可能な固有値計算により、固有値演算を完全に逆伝播可能とし、標準的な自動微分フレームワークと互換性を持つようになった。
• 本手法は線形系および非線形系の両方でロバストであり、通常のNeuralODEと比較して、学習の安定性と性能が向上した。