[論文レビュー] Learning Dynamical Systems by Leveraging Data from Similar Systems

Xin Lei, Lintao Ye+2 more|arXiv (Cornell University)|Feb 8, 2023

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿では、類似した補助システムからのデータを活用することで、ノイズに起因する誤差を低減する重み付き最小二乗法を、線形力学系の学習に提案する。ノイズに起因する誤差の低減の代わりにモデル不一致誤差が生じるが、そのトレードオフを明示的に定量化する有限標本誤差バウンドを提供する。これにより、補助データの影響をデータに依存して最適化することが可能になる。

ABSTRACT

We consider the problem of learning the dynamics of a linear system when one has access to data generated by an auxiliary system that shares similar (but not identical) dynamics, in addition to data from the true system. We use a weighted least squares approach, and provide finite sample error bounds of the learned model as a function of the number of samples and various system parameters from the two systems as well as the weight assigned to the auxiliary data. We show that the auxiliary data can help to reduce the intrinsic system identification error due to noise, at the price of adding a portion of error that is due to the differences between the two system models. We further provide a data-dependent bound that is computable when some prior knowledge about the systems, such as upper bounds on noise levels and model difference, is available. This bound can also be used to determine the weight that should be assigned to the auxiliary data during the model training stage.

研究の動機と目的

• 目的の力学系からのデータが限られている問題に対処するため、類似した動的特性を示す補助システムからのデータを活用すること。
• 補助データを用いたシステム同定におけるノイズに起因する誤差とモデル差異に起因する誤差のトレードオフを分析すること。
• システムのパラメータ、標本数、データ重み付けに依存する有限標本誤差バウンドを導出すること。
• 事前知識としてシステムの類似性が得られる場合に、トレーニング中の最適な重み付けを計算可能なデータ依存型バウンドを構築すること。

提案手法

• 真のシステムと類似した動的特性を示す補助システムからのデータを組み合わせるために、重み付き最小二乗推定器を用いる。
• 学習されたモデルの誤差をノイズに起因する誤差とモデル差異に起因する誤差に分解する。
• 有限標本かつデータに依存しないバウンドを導出し、推定誤差の総和を標本数とシステムパラメータの関数として定量化する。
• 事前知識としてシステムの類似性が得られる場合に計算可能なデータ依存型バウンドを導入し、補助データの適応的重み付けを可能にする。
• 理論的分析では、行列濃度不等式と特異値ノルムの性質を用いて推定誤差をバウンドする。
• 安定性条件（例：スペクトル半径 < 1）を組み込み、Gelfandの公式を用いてトレース表現における行列のべき乗をバウンドする。

実験結果

リサーチクエスチョン

• RQ1 真のシステムからのデータが不足している状況で、類似した力学系からの補助データをどのように活用すれば、システム同定の精度を向上させられるか？
• RQ2 補助データを用いる際、ノイズに起因する誤差を低減する一方で、モデル差異に起因する誤差が生じるというトレードオフは、どのように定量的に評価できるか？
• RQ3 両システムからの軌道数と軌道長さは、学習モデルの有限標本誤差にどのように影響するか？
• RQ4 トレーニング中に補助データの最適な重み付けを可能にする、データに依存する誤差バウンドを導出できるか？
• RQ5 システムの安定性と類似性は、重み付き最小二乗推定器の収束速度にどのような影響を及えるか？

主な発見

• 有限標本誤差バウンドは、補助データがノイズに起因する誤差を低減可能であるが、真のシステムと補助システムの間のモデル差異に起因する定数誤差が生じることを示している。
• ノイズに起因する誤差は、両システムからの軌道数の増加または軌道長の延長に伴い減少し、標本効率が向上する。
• データに依存しないバウンドは、スペクトル半径、システム行列のノルム、補助データに割り当てられる重みといったシステムパラメータに依存する。
• 事前知識としてシステムの類似性が得られる場合に計算可能な、よりタイトなデータ依存型誤差バウンドを導出でき、適応的重み選択が可能になる。
• 理論的分析により、補助データが適切に重み付けされた場合、重み付き最小二乗推定器が推定精度を向上させることを確認した。
• 本手法は、真のシステムと補助システムからのデータのバランスをとる原理的かつ明示的な方法を提供し、システムパラメータと標本数に基づいた明確なトレードオフを定量化している。