[論文レビュー] ERFit: Entropic Regression Fit Matlab Package, for Data-Driven System Identification of Underlying Dynamic Equations

Abd AlRahman R. AlMomani, Erik M. Bollt|arXiv (Cornell University)|Oct 5, 2020

Evolutionary Algorithms and Applications被引用数 4

ひとこと要約

ERFit は、エントロピー回帰を用いたデータ駆動型システム同定のための MATLAB パッケージであり、条件付き相互情報量を用いて反復的にスパースで情報量の多い基底関数を選択することで、非線形力学系のモデリングを実現する。前向き選択と後退除去を組み合わせることで、最小限のユーザーの監視のもとで、時間系列データから正確で低次元のモデルを同定し、ローレンツやロッシェル系といったベンチマークでも高い精度を達成する。

ABSTRACT

Data-driven sparse system identification becomes the general framework for a wide range of problems in science and engineering. It is a problem of growing importance in applied machine learning and artificial intelligence algorithms. In this work, we developed the Entropic Regression Software Package (ERFit), a MATLAB package for sparse system identification using the entropic regression method. The code requires minimal supervision, with a wide range of options that make it adapt easily to different problems in science and engineering. The ERFit is available at https://github.com/almomaa/ERFit-Package

研究の動機と目的

• 非線形力学系におけるスパースなシステム同定のための、使いやすく、監視が最小限の MATLAB パッケージの開発。
• システム構造に関する事前の知識がなく、高次元の時間系列データから内在する力学方程式を同定する課題への対処。
• 従来の最小二乗法やスパース性を促進する手法に代わって、情報理論的基準を活用することで、モデルの精度を向上させ、過剰適合を回避。
• 研究者が微分推定、相互情報量計算、パラメータの大きさ推定を容易にカスタマイズできるようにすることによる、多様な科学的応用への対応。

提案手法

• ERFit は、条件付き相互情報量に基づく勾配最適化手法であるエントロピー回帰（ER）を用い、候補ライブラリから関連する基底関数を選択する。
• 前向き選択段階では、現在のモデルを前提として、ベクトル場と候補関数との間の条件付き相互情報量を最大化する基底関数を反復的に追加する。
• 後退除去段階では、条件付き相互情報量の寄与度を最小化することで、冗長または情報のない関数を削除する。
• 情報量の増加に対する許容誤差閾値に基づく停止条件（HLT1）を採用し、さらなる顕著な改善が得られなくなった段階でアルゴリズムを停止させる。
• 微分、相互情報量、パラメータの大きさの推定器をユーザーが定義可能であり、柔軟性と適応性を向上させる。
• MATLAB で実装されており、完全なドキュメンテーションとライブスクリプトを備え、学際分野の研究者にとってアクセス可能で拡張可能な仕組みを提供する。

実験結果

リサーチクエスチョン

• RQ1 ノイズを含む時間系列データから内在する力学を同定する際、条件付き相互情報量を用いたエントロピー回帰は、従来のスパース回帰手法を上回る性能を示すか？
• RQ2 前向き選択と後退除去の二段階プロセスは、モデルの複雑さを低減しつつも、予測精度を維持するのにどの程度効果的か？
• RQ3 ERFit は、カップリングされたオシレーターのネットワークや Kuramoto-Sivashinsky 偏微分方程式のような高次元系において、正しい力学方程式をどの程度正確に同定できるか？
• RQ4 実世界の科学的応用において、ノイズや高次元の基底関数ライブラリに対して、この手法はどの程度頑健か？
• RQ5 ERFit のモジュール型設計は、多様なモデリング文脈において、微分や情報理論的量の推定戦略をカスタマイズ可能か？

主な発見

• ERFit は、時間系列データからローレンツ系やロッシェル系の真の内在的力学を高い精度で同定し、最小限のユーザー入力で実現した。
• 300次元のカップリングされたローレンツ系ネットワークのような高次元系に対しても、安定した性能を示した。回帰問題の次元は45,000を超えるまで拡大した。
• 後退除去段階は、予測性能を損なわせることなく、冗長な基底関数を効果的に削除し、モデルのスパarsity を向上させ、過剰適合を低減した。
• 16次元の Kuramoto-Sivashinsky 方程式に対しても、回帰問題が約150次元に拡大された状況で、正確なシステム同定を達成した。
• 情報量の増加に対する許容誤差に基づく停止条件（HLT1）は、不要な反復を防ぎ、計算効率を確保するのに効果的であった。
• ERFit は MATLAB R2016a 以降と互換性があり、微分推定、相互情報量、パラメータの大きさのユーザー定義コンponent をサポートしており、幅広い科学的再利用が可能である。