[논문 리뷰] Learning Dynamical Systems by Leveraging Data from Similar Systems

Xin Lei, Lintao Ye외 2명|arXiv (Cornell University)|2023. 02. 08.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 유사한 보조 시스템의 데이터를 활용하여 선형 동적 시스템을 학습하기 위해 가중 최소 제곱법을 제안한다. 이는 노이즈에 의한 오차를 감소시키지만 모델 불일치 오차가 증가하는 대가를 치르며, 표본 수, 시스템 유사성, 데이터 가중치 간의 상호 작용을 정량화하는 유한 표본 오차 경계를 제공한다. 이를 통해 사전 지식이 있을 경우 보조 데이터의 영향력을 데이터 기반으로 최적화할 수 있다.

ABSTRACT

We consider the problem of learning the dynamics of a linear system when one has access to data generated by an auxiliary system that shares similar (but not identical) dynamics, in addition to data from the true system. We use a weighted least squares approach, and provide finite sample error bounds of the learned model as a function of the number of samples and various system parameters from the two systems as well as the weight assigned to the auxiliary data. We show that the auxiliary data can help to reduce the intrinsic system identification error due to noise, at the price of adding a portion of error that is due to the differences between the two system models. We further provide a data-dependent bound that is computable when some prior knowledge about the systems, such as upper bounds on noise levels and model difference, is available. This bound can also be used to determine the weight that should be assigned to the auxiliary data during the model training stage.

연구 동기 및 목표

• 목표 동적 시스템의 데이터가 제한적인 상황에서 유사한 보조 시스템의 데이터를 활용하여 문제를 해결하고자 한다.
• 보조 데이터를 사용한 시스템 식별에서 노이즈 감소와 모델 불일치 오차 간의 상호 작용을 분석하고자 한다.
• 표본 수, 시스템 매개변수, 데이터 가중치에 따라 달라지는 유한 표본 오차 경계를 유도하고자 한다.
• 사전 지식이 있을 경우 보조 데이터의 영향력을 최적화할 수 있도록 데이터 기반 경계를 계산할 수 있도록 하고자 한다.

제안 방법

• 진정한 시스템과 유사한 동역학을 가지는 보조 시스템의 데이터를 결합하기 위해 가중 최소 제곱 추정기 사용.
• 학습된 모델의 오차를 노이즈 유도 오차와 모델 차이 유도 오차로 분해.
• 표본 수와 시스템 매개변수에 따라 총 추정 오차를 정량화하는 유한 표본, 데이터 독립 경계 유도.
• 사전 지식이 있을 경우 계산 가능한 데이터 기반 경계 도입. 이는 보조 데이터의 적응적 가중치 설정을 가능하게 한다.
• 이론적 분석은 행렬 농도 부등식과 스펙트럼 노름 성질을 사용하여 추정 오차를 경계.
• 안정성 조건(예: 스펙트럼 반경 < 1)을 통합하고, 가우스의 공식을 사용하여 추적 표현 내의 행렬 거듭제곱을 경계.

실험 결과

연구 질문

• RQ1 진정한 시스템의 데이터가 부족한 상황에서 유사한 동적 시스템의 보조 데이터는 어떻게 시스템 식별 정확도를 향상시킬 수 있는가?
• RQ2 보조 데이터를 사용할 경우 노이즈에 의한 오차 감소와 모델 차이에 의한 오차 증가 사이의 상호 작용은 무엇인가?
• RQ3 두 시스템의 궤적 수와 궤적 길이가 학습된 모델의 유한 표본 오차에 어떤 영향을 미치는가?
• RQ4 학습 중에 보조 데이터의 최적 가중치를 설정할 수 있도록 데이터 기반 오차 경계를 도출할 수 있는가?
• RQ5 시스템 안정성과 유사성은 가중 최소 제곱 추정기의 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 유한 표본 오차 경계는 보조 데이터가 노이즈에 의한 오차를 감소시킬 수 있지만, 진정한 시스템과 보조 시스템 간의 모델 차이로 인해 일정한 오차가 유입된다는 것을 보여준다.
• 노이즈에 의한 오차는 두 시스템의 궤적 수 증가 또는 궤적 길이 증가에 따라 감소하여 표본 효율성이 향상된다.
• 데이터 독립 경계는 스펙트럼 반경, 시스템 행렬의 노름, 보조 데이터에 할당된 가중치와 같은 시스템 매개변수에 의존한다.
• 사전 지식이 있을 경우 계산 가능한 더 날카운 경계가 도출되었으며, 이는 보조 데이터의 적응적 가중치 선택을 가능하게 한다.
• 이론적 분석은 보조 데이터가 적절히 가중치가 부여된 경우 가중 최소 제곱 추정기가 향상된 추정 정확도를 달성함을 확인한다.
• 이 방법은 진정한 시스템과 보조 시스템의 데이터를 균형 있게 조합하는 원칙적인 방법을 제공하며, 시스템 매개변수와 표본 수에 따라 명시적인 상호 작용을 정량화한다.