[论文解读] Learning Dynamical Systems by Leveraging Data from Similar Systems

Xin Lei, Lintao Ye+2 more|arXiv (Cornell University)|Feb 8, 2023

Machine Learning and Algorithms被引用 5

一句话总结

本文提出一种加权最小二乘法，通过利用具有相似动力学特性的辅助系统数据来学习线性动态系统，从而在牺牲模型失配误差的代价下减少噪声引起的误差。该方法提供了有限样本误差界，量化了样本量、系统相似性与数据加权之间的权衡，实现了辅助数据影响的自适应优化。

ABSTRACT

We consider the problem of learning the dynamics of a linear system when one has access to data generated by an auxiliary system that shares similar (but not identical) dynamics, in addition to data from the true system. We use a weighted least squares approach, and provide finite sample error bounds of the learned model as a function of the number of samples and various system parameters from the two systems as well as the weight assigned to the auxiliary data. We show that the auxiliary data can help to reduce the intrinsic system identification error due to noise, at the price of adding a portion of error that is due to the differences between the two system models. We further provide a data-dependent bound that is computable when some prior knowledge about the systems, such as upper bounds on noise levels and model difference, is available. This bound can also be used to determine the weight that should be assigned to the auxiliary data during the model training stage.

研究动机与目标

• 为解决目标动态系统数据有限的问题，利用具有相似动力学特性的辅助系统数据。
• 分析在使用辅助数据进行系统辨识时，噪声减少与模型失配误差之间的权衡。
• 推导依赖于系统参数、样本数量和数据加权的有限样本误差界。
• 在已知系统相似性先验知识的前提下，开发一种可计算的数据依赖误差界，以实现训练过程中辅助数据权重的最优选择。

提出的方法

• 采用加权最小二乘估计器，将真实系统与具有相似动力学特性的辅助系统的数据相结合。
• 将学习模型的误差分解为噪声引起的误差和模型差异引起的误差。
• 推导出有限样本、数据无关的误差界，以量化总估计误差作为样本数量和系统参数的函数。
• 引入一种数据依赖的误差界，当已知系统相似性先验知识时可计算，从而实现辅助数据的自适应加权。
• 理论分析利用矩阵集中不等式和谱范数的性质来界定估计误差。
• 该方法引入稳定性条件（如谱半径 < 1），并使用Gelfand公式来界定迹表达式中的矩阵幂。

实验结果

研究问题

• RQ1 当真实系统数据稀缺时，如何利用具有相似动力学特性的辅助系统数据来提高系统辨识的准确性？
• RQ2 在使用辅助数据时，如何权衡减少噪声引起的误差与引入模型差异引起的误差？
• RQ3 来自两个系统的轨迹数量和轨迹长度如何影响学习模型的有限样本误差？
• RQ4 能否推导出一种数据依赖的误差界，以实现在训练过程中对辅助数据进行最优加权？
• RQ5 系统稳定性和相似性对加权最小二乘估计器的收敛速率有何影响？

主要发现

• 有限样本误差界表明，辅助数据可减少噪声引起的误差，但代价是引入了由于真实系统与辅助系统之间模型差异导致的恒定误差。
• 噪声引起的误差随两个系统轨迹数量的增加或轨迹长度的延长而减小，从而提高了样本效率。
• 数据无关误差界依赖于系统参数，如谱半径、系统矩阵的范数以及分配给辅助数据的权重。
• 推导出一种更紧致的、可计算的数据依赖误差界，当已知系统相似性先验知识时可应用，从而实现自适应权重选择。
• 理论分析证实，当辅助数据被适当地加权时，加权最小二乘估计器可实现更高的估计精度。
• 该方法提供了一种系统化的方法来平衡真实系统与辅助系统数据的使用，且明确量化了系统参数与样本数量之间的权衡。