[論文レビュー] Learning Neural Event Functions for Ordinary Differential Equations

Ricky T. Q. Chen, Brandon Amos+1 more|arXiv (Cornell University)|Nov 8, 2020

Model Reduction and Neural Networks参考文献 59被引用数 24

ひとこと要約

この論文では、微分可能で学習可能なイベント関数を通じて暗黙の終了基準を学習することにより、事前に定義された終了時刻がなく、連続時間系における離散的・瞬時の状態変化をモデル化できるように拡張された Neural Event ODEs を提案する。このアプローチは再パrameterization勾配を用いたエンド・ツー・エンド学習を可能とし、ハイブリッド力学系におけるポイント過程および離散的制御のシミュレーションベース学習を効果的に行える。

ABSTRACT

The existing Neural ODE formulation relies on an explicit knowledge of the termination time. We extend Neural ODEs to implicitly defined termination criteria modeled by neural event functions, which can be chained together and differentiated through. Neural Event ODEs are capable of modeling discrete and instantaneous changes in a continuous-time system, without prior knowledge of when these changes should occur or how many such changes should exist. We test our approach in modeling hybrid discrete- and continuous- systems such as switching dynamical systems and collision in multi-body systems, and we propose simulation-based training of point processes with applications in discrete control.

研究の動機と目的

• 固定された終了時刻を、状態の不連続性を引き起こす学習可能な暗黙のイベント関数に置き換えることで、Neural ODEs を拡張すること。
• イベントのタイミングと影響がニューラルネットワークによって決定されるイベント駆動型システムのエンド・ツー・エンド学習を可能にすること。
• 連続時間環境における時系列ポイント過程および離散的制御方策のシミュレーションベース学習を支援すること。
• イベント関数が微分可能ニューラルネットワークである場合に、ODEソルバーにおけるイベント位置へのバックプロパゲーションの課題を解決すること。
• 本手法の有効性を、跳ねるボール、スイッチングダイナミクス、生物学的および神経系における制御方策を含むハイブリッド系のモデル化において示すこと。

提案手法

• ODESoloveEvent を ODESolve の一般化として導入し、積分がニューラルイベント関数 $ g(t, z(t), \phi) $ がゼロを crosses する際に終了するようにする。
• イベント関数 $ g $ を、学習可能なパrameter $ \phi $ を持つニューラルネットワークでパラメータライズし、モデルが状態変化をいつ・どのようにトリガーするかを学習できるようにする。
• アドジョイント感度法を用いて、ODEのベクトル場 $ f $ およびイベント関数 $ g $ の両方の勾配を導出することで、イベント時刻を経由したバックプロパゲーションを可能にする。
• 再パラメータライゼーション勾配を用いて確率的時系列ポイント過程の学習を実施し、イベントシーケンスの微分可能なサンプリングを可能にする。
• 独立したイベント時刻を持つトラジェクトリのミニバッチ処理に対応するため、スパースアグリゲーター（例：最小値または最大値）を用いる。
• HIV治療やホジキン＝ハクスリー神経系ダイナミクスなどの連続時間系において、決定的および確率的制御方策の訓練にこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、事前に定義された終了時刻がなく、連続時間系における状態の不連続性を引き起こす暗黙のイベント関数を学習できるか？
• RQ2 イベント関数が微分可能なニューラルネットワークである場合、イベント時刻を経由した勾配のバックプロパゲーションはどのように実現できるか？
• RQ3 このフレームワークは、連続時間ダイナミクスにおける時系列ポイント過程および離散的制御方策のエンド・ツー・エンド学習をサポートできるか？
• RQ4 再パラメータライゼーション勾配は、イベント数が変動するイベントシーケンスの学習において、REINFORCEに比べてどのように優れているか？
• RQ5 微分可能なイベント関数を用いることで、連続時間系における決定的制御方策は効果的に訓練できるか？

主な発見

• Neural Event ODEs は、物理法則の完全な回復と標準的な Neural ODEs より優れた外挿性能を示し、跳ねるボールのダイナミクスを効果的にモデル化した。
• 再パラメータライゼーション勾配は、特に長いイベントシーケンス（例：5〜10イベント）において、REINFORCEよりも高速かつ安定した学習を可能にした。
• HIVダイナミクスモデルにおいて、2種類の阻害薬に対する離散的制御を用いて、従来の手法と同等またはそれ以上の効果的な治療戦略の学習を達成した。
• ホジキン＝ハクスリーモデルでは、離散的スティミュラス制御を通じて、目標とするアクションポテンシャルに成功して一致させることができ、決定的方策が確率的方策を上回った。
• イベント関数を学習可能にすることで、標準的な Neural ODEs を一般化し、状態の不連続性を有するハイブリッド系のモデル化を可能にした。
• イベント関数のパラメータに大きな分散を初期化することで、根が検出されない場合に標準的な Neural ODEs に退化するのを防ぐのに有効であった。