[論文レビュー] ODEFormer: Symbolic Regression of Dynamical Systems with Transformers

Stéphane d’Ascoli, Sören L. Becker+3 more|arXiv (Cornell University)|Oct 9, 2023

Model Reduction and Neural Networks被引用数 5

ひとこと要約

ODEFormer は、ノイズあり、不規則にサンプリングされた単一の軌道から、記号的常微分方程式（ODE）を推論する、新しいトランスフォーマー基盤モデルである。本モデルは、動的システムの記号的回帰において最先端の性能を達成しており、精度、ノイズおよび不規則なサンプリングに対するロバストネス、推論速度の面で既存手法を上回っている。また、包括的な評価のための ODEBench データセットを導入した。

ABSTRACT

We introduce ODEFormer, the first transformer able to infer multidimensional ordinary differential equation (ODE) systems in symbolic form from the observation of a single solution trajectory. We perform extensive evaluations on two datasets: (i) the existing "Strogatz" dataset featuring two-dimensional systems; (ii) ODEBench, a collection of one- to four-dimensional systems that we carefully curated from the literature to provide a more holistic benchmark. ODEFormer consistently outperforms existing methods while displaying substantially improved robustness to noisy and irregularly sampled observations, as well as faster inference. We release our code, model and benchmark dataset publicly.

研究の動機と目的

• 観測データからドメイン知識なしに解釈可能な記号的 ODE を推論できる深層学習モデルの開発。
• とくにノイズや不規則なサンプリング条件下での動的システムの記号的回帰のための堅牢なベンチマークの不足に取り組む。
• 大規模な合成 ODE 軌道での事前学習を活用することで、未観測の動的システムへの一般化とロバストネスを向上させる。
• アテンションベースのシーケンスモデリングを用いて、単一の解軌道から動的法則を高速かつスケーラブルに推論可能にする。
• 研究の加速を目的として、包括的なベンチマークデータセット（ODEBench）および訓練済みモデルの公開。

提案手法

• ODEFormer は、ランダムに生成された ODE とその対応する離散的解軌道からなる大規模な合成データで訓練された、シーケンス・ツー・シーケンス型トランスフォーマー・アーキテクチャを採用している。
• モデルは、1〜4次元の多様な記号的 ODE で事前学習され、ランダムな初期条件から数値積分により軌道が生成される。
• 推論時には、時系列順序で整列された、ノイズありまたは不規則にサンプリングされた観測値のシーケンスを入力とし、ODE ベクトル場 $ f(x) $ の記号的形を予測する。
• 再構成の忠実度と記号的一般化性能のバランスを取るために、温度スケーリングを用いたビームサーチデコードを採用している。
• 記号的出力を再構成 $ R^2 $ スコアと一般化 $ R^2 $ スコアの両方で評価し、ノイズへのフィッティングと真の力学の学習を区別している。
• 50%の欠損データおよび最大5%の観測ノイズに対してもロバストであるように設計されており、複数の ODE 家族における性能が測定されている。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤モデルは、1つのノイズありまたは不規則にサンプリングされた軌道から、多次元 ODE の記号的形を正確に推論できるか？
• RQ2 ノイズや欠損観測が生じる現実的なデータ条件下で、ODEFormer の性能は、既存の記号的回帰およびニューラル ODE 手法と比較してどうなるか？
• RQ3 合成 ODE で大規模な事前学習をすることで、未観測の動的システムへの一般化性能がどの程度向上するか？
• RQ4 ビームサーチのハイパーパramータおよび温度が、再構成精度と記号的一般化のトレードオフにどのように影響するか？
• RQ5 整理された多様なベンチマークデータセット（ODEBench）は、動的システムの記号的回帰の評価基準として信頼できるものとなるか？

主な発見

• ODEFormer は、ストログラツのデータセットおよび新たに導入された ODEBench において、ノイズあり・不規則なサンプリング条件下でも、既存手法を上回る高い一般化 $ R^2 $ スコアを達成した。
• ODEBench において、ODEFormer は1〜4次元のシステムすべてで高い性能を維持し、遺伝的プログラミングを用いた記号的回帰などのベースラインと比較して、平均一般化 $ R^2 $ スコアが顕著に優れていた。
• 50%の軌道点欠損および最大5%の観測ノイズに対しても、一般化性能の低下が最小限に抑えられ、ロバストネスを示した。
• ビームサイズを増やすことで再構成精度は向上するが、一般化性能への影響はほとんどないため、再構成と記号的回復は別々の最適化目的であることが示された。
• 63個の科学文献から収集された ODE を含む ODEBench データセットは、従来のデータセットよりも包括的かつ現実的なベンチマークを提供している。
• ODEFormer は高速な推論を可能にし、ほとんどの記号的回帰ベースラインを上回る速度を維持しながら、高い精度と解釈可能性を保った。