[論文レビュー] LQResNet: A Deep Neural Network Architecture for Learning Dynamic Processes

Pawan Goyal, Peter Benner|arXiv (Cornell University)|Mar 3, 2021

Model Reduction and Neural Networks参考文献 47被引用数 5

ひとこと要約

本稿では、残留ネットワークと線形・二次（LQ）非線形性を組み合わせた物理知見に基づく深層ニューラルネットワークアーキテクチャ、LQResNetを提案する。この手法は、データから動的過程を学習する際、事前の物理的知識を組み込むことで、神経動態やグリコリシスオシレーターなどの複雑な力学系を正確にモデル化する。状態変数のみを用いて残留マッピングを学習することで、限られたデータでも未学習の初期条件に対する強力な一般化性能を示す。

ABSTRACT

Mathematical modeling is an essential step, for example, to analyze the transient behavior of a dynamical process and to perform engineering studies such as optimization and control. With the help of first-principles and expert knowledge, a dynamic model can be built, but for complex dynamic processes, appearing, e.g., in biology, chemical plants, neuroscience, financial markets, this often remains an onerous task. Hence, data-driven modeling of the dynamics process becomes an attractive choice and is supported by the rapid advancement in sensor and measurement technology. A data-driven approach, namely operator inference framework, models a dynamic process, where a particular structure of the nonlinear term is assumed. In this work, we suggest combining the operator inference with certain deep neural network approaches to infer the unknown nonlinear dynamics of the system. The approach uses recent advancements in deep learning and possible prior knowledge of the process if possible. We also briefly discuss several extensions and advantages of the proposed methodology. We demonstrate that the proposed methodology accomplishes the desired tasks for dynamics processes encountered in neural dynamics and the glycolytic oscillator.

研究の動機と目的

• 時系列データから複雑な非線形力学系を効果的に学習する深層学習アーキテクチャの開発。
• 特に線形および二次的依存関係を含む事前の物理的知識をニューラルネットワーク設計に統合し、データ効率性とモデルの解釈可能性を向上。
• 完全な機械的モデルが不明または不完全な高次元非線形力学系のモデル化の課題に対処。
• ネットワークアーキテクチャに物理的制約を組み込むことで、パrameter数を削減し、データが少ない状況での過学習を低減。
• 神経系や生化学的系のような複雑でカオス的ダイナミクスを示す実世界の生物学的・生化学的系において、本手法の有効性を実証。

提案手法

• LQResNetアーキテクチャは、残留ブロックを用いており、各ブロックは線形変換の後に非線形活性化を適用する。非線形部は、状態変数における線形項と二次項の組み合わせとして明示的にモデル化される。
• ネットワークは状態ベクトルの時間微分を予測するように訓練され、時系列データから連続時間の力学系モデリングが可能になる。
• 動的挙動が線形および二次形式でよく近似できる成分（例：グリコリシスオシレーターのS3, S4, S5, S7）には、固定されたLQ構造が使用される。一方、他の成分（S1, S2, S6）については、トレーニング可能な重みを用いて非線形マッピングが学習される。
• 本手法は作用素推定の原則を活用し、物理的制約をネットワークアーキテクチャに埋め込むことで、パrameter数を削減し、データの効率性を向上。
• 複数の初期条件からのシミュレーションで得たデータを用いて訓練することで、耐障害性と一般化性能を確保。
• 既知のトポロジカル依存関係に基づき、効率性を高めるために、入力特徴量を選択的に使用可能（例：dS1/dtの予測にS1とS6のみを入力）とする。

実験結果

リサーチクエスチョン

• RQ1 線形および二次的依存関係といった既知の物理的構造を組み込んだ、非線形力学系を学習できる深層ニューラルネットワークアーキテクチャを設計できるか？
• RQ2 限られたノイズの多いデータで学習した場合、未学習の初期条件への一般化性能はどの程度高いか？
• RQ3 純粋なブラックボックス深層学習と比較して、ネットワークアーキテクチャに物理的知識を組み込むことで、データ効率性の向上と過学習の低減がどの程度達成されるか？
• RQ4 基礎方程式が事前に分かっていない状況でも、神経系や生化学的系のような複雑でカオス的ダイナミクスを正確に再構築できるか？
• RQ5 精度、解釈可能性、データ要件という観点から、LQResNetは標準的な深層学習や記号的回帰手法と比較して、どの程度優れているか？

主な発見

• LQResNetモデルは、非LQ的挙動を示す成分を含むすべての状態変数において、未学習の初期条件でもグリコリシスオシレーターのダイナミクスを高い精度で再現した。
• 訓練時に使用しなかった初期条件に対しても、モデルは効果的に一般化しており、図3における真の軌道と予測軌道の一致が良好であることが示された。
• 物理知見に基づくLQ構造の使用により、特にデータが少ない状況で、データ効率性が著しく向上し、過学習が低減した。
• 30個の初期条件と1つの軌道あたり4,000個の時系列ポイントのみを用いても、全システムのダイナミクスを正確に再構築できた。これは、優れたサンプル効率性を示している。
• 基礎的なシステムがカオス的挙動を示しても、本手法は良好に一般化でき、非線形的かつ高次元のダイナミクスに対して頑健であることが示された。
• 構造的制約を組み込むことで、純粋なブラックボックス深層学習に比べ、解釈可能性が向上し、パrameter数も削減された。