[論文レビュー] Curriculum learning for data-driven modeling of dynamical systems

Michele Alessandro Bucci, Onofrio Semeraro+3 more|arXiv (Cornell University)|Dec 15, 2021

Simulation Techniques and Applications被引用数 1

ひとこと要約

本稿では、限られたデータにおけるモデルの汎化性能と予測精度を向上させるために、エントロピーに基づくデータ構造化を用いたcurriculum learningアプローチを、動的システムのデータ駆動型モデリングに提案する。低エントロピーで単純な軌道（例えば不安定な固定点付近のもの）を最初に学習し、その後に複雑でカオス的な領域に段階的に移行することで、データが限られている状況でも、信頼性の高い長期予測を達成する。標準的な学習戦略に比べて優れた性能を示す。

ABSTRACT

The reliable prediction of the temporal behavior of complex systems is key in numerous scientific fields. This strong interest is however hindered by modeling issues: often, the governing equations describing the physics of the system under consideration are not accessible or, if known, their solution might require a computational time incompatible with the prediction time constraints. Not surprisingly, approximating complex systems in a generic functional format and informing it ex-nihilo from available observations has become common practice in the age of machine learning, as illustrated by the numerous successful examples based on deep neural networks. However, generalizability of the models, margins of guarantee and the impact of data are often overlooked or examined mainly by relying on prior knowledge of the physics. We tackle these issues from a different viewpoint, by adopting a curriculum learning strategy. In curriculum learning, the dataset is structured such that the training process starts from simple samples towards more complex ones in order to favor convergence and generalization. The concept has been developed and successfully applied in robotics and control of systems. Here, we apply this concept for the learning of complex dynamical systems in a systematic way. First, leveraging insights from the ergodic theory, we assess the amount of data sufficient for a-priori guaranteeing a faithful model of the physical system and thoroughly investigate the impact of the training set and its structure on the quality of long-term predictions. Based on that, we consider entropy as a metric of complexity of the dataset; we show how an informed design of the training set based on the analysis of the entropy significantly improves the resulting models in terms of generalizability, and provide insights on the amount and the choice of data required for an effective data-driven modeling.

研究の動機と目的

• データが限られたり、収集に費用がかかる場合に、複雑な動的システムにおける信頼性の高い長期予測を達成する課題に対処すること。
• 複雑性指標に基づく構造化されたデータ順序付けが、データ駆動型モデリングにおけるモデルの汎化性能と収束性を向上させるかどうかを調査すること。
• エルゴディック理論とKacの補題を用いて理論的境界を設定し、忠実なモデリングに必要な最小限のデータ要件を特定すること。
• LSTMのような再帰的モデルにおける初期メモリ状態が予測性能に与える影響を評価すること。
• データ駆動型物理モデリングの実務家に対して、根拠に基づいたベストプラクティスを提供すること。

提案手法

• 著者らは、アトラクタ次元とシステムのダイナミクスに基づき、忠実なモデリングに必要な最小データ量を、エルゴディック理論とKacの補題を用いて理論的に推定する。
• 複雑性指標としてエントロピーを導入し、トレーニングデータをランク付け・構造化する。低複雑性・低エントロピーの軌道（例：不安定な固定点付近）を、高エントロピーでカオス的な領域よりも優先的に扱う。
• エントロピーが低い順にデータを並べ替えたcurriculum learning戦略を実装し、LSTMニューラルネットワークを単純なダイナミクスから段階的に複雑なダイナミクスへと学習させる。
• 短い軌道（固定点から出発）とアトラクタ全体の軌道を含む、さまざまなデータサンプリング戦略に対して、トレーニングプロセスを体系的に評価する。
• LSTMメモリの初期化が与える影響を分析し、ランダム初期化と固定点軌道からの初期化を比較する。
• Lorenz '63システム（代表的なカオス的動的システム）を用いて、時系列予測とモデル次元の評価を指標として、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 エルゴディック理論からの理論的境界に基づき、アトラクタ次元に応じて、忠実なモデリングに必要な最小データ量はどの程度か？
• RQ2 エントロピーに基づくデータ順序付けが、特にデータが限られた状況でモデルの汎化性能と予測性能を向上させるか？
• RQ3 LSTMメモリの初期状態が、トレーニングデータを超えた汎化能力に与える影響は何か？
• RQ4 エントロピーを用いた軌道複雑性に基づくcurriculum戦略が、長期予測において、標準的なランダムまたは全軌道学習を上回るか？
• RQ5 不安定な固定点からの短い軌道が、複雑なダイナミクスを学習するための効率的でデータ効率の良い出発点として有効であるか？

主な発見

• Kacの補題が予測するように、忠実なモデリングに必要な最小データ量は、アトラクタ次元に指数関数的に依存する。データが不足すると、汎化性能が著しく低下し、モデルの失敗が生じる。
• 不安定な固定点から出る低エントロピー軌道で学習させることで、ランダムまたは全カバー範囲のデータサンプリングに比べ、長期予測性能が著しく向上する。
• エントロピー順序付けに基づくcurriculum戦略により、理論的に求められるデータ量を下回る場合でも、正確なモデリングが可能となり、データ不足の制約を効果的に回避できる。
• 固定点軌道からの初期化ではLSTMモデルの汎化性能が著しく劣るが、ランダム初期化では優れた一貫性のある性能が得られる。
• 本研究では、カオス的システムのデータ駆動型モデリングにおいて、過学習が大きなリスクであることが示された。また、先行研究で観察された高い予測可能性は、モデルの能力ではなく、データバイアスに起因する可能性がある。
• エントロピーに基づくデータ構造化は、原理的かつデータ効率的な戦略として、動的システムのデータ駆動型モデリングに強力な実証的・理論的根拠を提供する。