[論文レビュー] Chaos as an interpretable benchmark for forecasting and data-driven modelling

William Gilpin|arXiv (Cornell University)|Oct 11, 2021

Time Series Analysis and Forecasting被引用数 23

ひとこと要約

本論文は、事前に計算済みの時系列データと数学的注釈を備えた、131種類の既知のカオス的力学系からなる標準的で拡張可能なベンチマークを導入し、予測およびデータ駆動型モデリング手法の解釈可能な評価を可能にする。主な貢献は、予測性能がリャプノフ指数で定量化された系のカオス性と強く相関することを示したことであり、系の生成的性質を活用して、サーローグトランスファー学習や重要度サンプリングといった新たな応用が可能であることを明らかにした。

ABSTRACT

The striking fractal geometry of strange attractors underscores the generative nature of chaos: like probability distributions, chaotic systems can be repeatedly measured to produce arbitrarily-detailed information about the underlying attractor. Chaotic systems thus pose a unique challenge to modern statistical learning techniques, while retaining quantifiable mathematical properties that make them controllable and interpretable as benchmarks. Here, we present a growing database currently comprising 131 known chaotic dynamical systems spanning fields such as astrophysics, climatology, and biochemistry. Each system is paired with precomputed multivariate and univariate time series. Our dataset has comparable scale to existing static time series databases; however, our systems can be re-integrated to produce additional datasets of arbitrary length and granularity. Our dataset is annotated with known mathematical properties of each system, and we perform feature analysis to broadly categorize the diverse dynamics present across the collection. Chaotic systems inherently challenge forecasting models, and across extensive benchmarks we correlate forecasting performance with the degree of chaos present. We also exploit the unique generative properties of our dataset in several proof-of-concept experiments: surrogate transfer learning to improve time series classification, importance sampling to accelerate model training, and benchmarking symbolic regression algorithms.

研究の動機と目的

• 時系列予測およびデータ駆動型モデリングの分野において、標準的で解釈可能なベンチマークが不足している問題に対処するため、多様で数学的に根拠のあるカオス的力学系の収集を行う。
• リャプノフ指数やフラクタル次元といった定量的な数学的性質と性能を相関させることで、予測モデルの体系的評価を可能にする。
• カオス的系の生成的性質を活用し、モデル学習におけるトランスファー学習や重要度サンプリングといった新たな応用を可能にする。
• データ駆動型モデルの解釈性を向上させるために、アルゴリズムの性能を単一時系列内の特徴量の寄与度に依存するのではなく、下位の力学的性質と結びつける。

提案手法

• 著者らは、多様な科学分野にまたがる131種類の既知のカオス的力学系を収集し、それぞれに明示的な解析的表現と事前に計算された多次元および一次元時系列データを備えた。
• 各系は、リャプノフ指数、フラクタル次元、アトラクタ位相幾何学的構造といった既知の数学的性質を注釈として付与されており、力学的複雑性の定量的比較を可能にする。
• このデータセットは、元の微分方程式または写像を再統合することで、任意の長さ、解像度、確率的性質を持つ新たな時系列を生成可能である。
• 複数のモデルを用いて全系にわたる予測ベンチマークを実施し、カオスの数学的尺度と性能を相関させる。
• サーロー・トランスファー学習の有効性を実証するため、データセットの時系列で事前学習した特徴抽出器を、標準的な時系列分類ベンチマークで微調整した。
• 重要度サンプリングを用いて、アトラクタの幾何的構造を活用し、動的的に重要な領域に焦点を当てることで、モデル学習の高速化を実現した。

実験結果

リサーチクエスチョン

• RQ1 系のカオス性の度合い（リャプノフ指数で測定）は、現代の機械学習モデルの予測性能にどのように相関するか？
• RQ2 カオス的系の生成的かつ数学的に構造化された性質は、トランスファー学習や効率的な学習といったデータ駆動型モデリング分野における新たな応用を可能にするか？
• RQ3 アルゴリズムの記号的回帰性能は、ターゲット系の内在的力学的複雑性に依存するのではなく、単に構文的式の複雑さに依存するのか？
• RQ4 どの程度までカオス的系は、モデル性能と下位の力学的性質との間のメカニズム的関係を明確にする解釈可能なベンチマークとして機能できるか？

主な発見

• 多様なモデルにおける予測性能は、リャプノフ指数と強く相関しており、カオス性が高くなるほど予測可能性が低下することを確認した。
• 記号的回帰アルゴリズムは、よりカオス的な系において顕著に高い誤差率を示しており、局所的近似関数の探索空間が広く複雑であることが示唆された。
• アトラクタの幾何的構造に基づく重要度サンプリングの活用により、動的的に重要な領域に集中することで、学習時間を短縮し、サンプル効率を向上させた。
• 本データセットを用いたサーロー・トランスファー学習により、カオス的系から得た時間スケールに一致する表現を活用することで、標準的な時系列分類ベンチマークでの性能が向上した。
• データセットの生成的機能により、任意長の時系列合成が可能となり、静的データセットを超えたスケーラブルかつカスタマイズ可能なベンチマークが実現した。
• よりカオス的な系では、多様な局所的近似関数が生成され、記号的回帰の探索空間が複雑化するため、観察された性能低下が説明された。