[논문 리뷰] Finite-Time System Identification for Partially Observed LTI Systems of Unknown Order.

Tuhin Subhra Sarkar, Alexander Rakhlin외 1명|arXiv (Cornell University)|2019. 02. 05.

Control Systems and Identification참고 문헌 24인용 수 58

한 줄 요약

이 논문은 비결정성 없는 안정적인 LTI 시스템에 대해 유한 시간 내에 시스템 식별을 수행하는 방법을 제안한다. 이는 비결정성 없는 최소 제곱법을 사용하여 비볼록성을 피하고 정확한 저차원 근사가 가능하도록 하는 헨켈 유사 형식을 사용한다. 이 방법은 최소 최대 최적의 차수 선택과 데이터에 의존하는 모델 차수 추정을 통해 진짜 시스템에 대한 높은 확률의 근사치를 달성한다.

ABSTRACT

We address the problem of learning the parameters of a stable linear time invariant (LTI) system with unknown latent space dimension, or extit{order}, from its noisy input-output data. In particular, we focus on learning the parameters of the best lower order approximation allowed by the finite data. This is achieved by constructing a Hankel-like representation of the underlying system using ordinary least squares. Such a representation circumvents the non-convexities that typically arise in system identification, and it allows accurate estimation of the underlying LTI system. Our results rely on a careful analysis of a self-normalized martingale difference term that helps bound identification error up to logarithmic factors of the lower bound. We provide a data-dependent scheme for order selection and find a realization of system parameters, corresponding to that order, by an approach that is closely related to the celebrated Kalman-Ho subspace algorithm. We show that this realization is a good approximation of the underlying LTI system with high probability. Finally, we demonstrate that the proposed model order selection procedure is minimax optimal, i.e., for the given data length it is not always possible to estimate higher order models or find higher order approximations with reasonable accuracy.

연구 동기 및 목표

• 유한한 노이즈가 있는 입력-출력 데이터만을 사용하여 잠재 차수(순서)가 알려지지 않은 안정적인 LTI 시스템의 시스템 식별을 다루기.
• 유한한 데이터로 허용되는 최적의 저차원 근사를 추정하는 방법을 개발하여 비볼록 최적화 문제를 피하기.
• 주어진 데이터 길이에 대해 최소 최대 최적인 데이터 의존적 모델 차수 선택 절차를 제공하기.
• 칼만-호 하위공간 알고리즘과 밀접한 관련이 있는 실현 방법을 통해 기저 시스템에 대한 높은 확률의 근사치를 보장하기.
• 최소 최대 하한에 비해 로그 인자 수준까지 날카로운 식별 오차의 이론적 경계를 설정하기.

제안 방법

• 입력-출력 데이터에 대한 일반 최소 제곱법을 사용하여 시스템의 임펄스 응답에 대한 헨켈 유사 행렬 표현을 구성하기.
• 추정 오차를 제어하고 고확률 경계를 유도하기 위해 자기정규화된 마팅글 차수 항을 사용하기.
• 헨켈 행렬의 특이값에 기반한 데이터 의존적 차수 선택 기법을 적용하여 최소한의 충분한 모델 차수를 결정하기.
• 안정성과 정확성을 보장하기 위해 칼만-호 하위공간 알고리즘과 유사한 실현 방법을 통해 시스템 파라미터를 재구성하기.
• 헨켈 행렬의 구조를 활용하여 비볼록 최적화를 피하고, 볼록적이며 해석 가능한 추정을 가능하게 하기.
• 집중 부등식과 마팅글 기법을 사용하여 식별 오차를 분석하고 날카로운 오차 경계를 확보하기.

실험 결과

연구 질문

• RQ1 유한하고 노이즈가 있는 입력-출력 데이터로부터 잠재 차수(순서)가 알려지지 않은 안정적인 LTI 시스템을 볼록 최적화 프레임워크를 사용해 식별할 수 있는가?
• RQ2 데이터 기반으로 차수를 선택하는 방법은 어떻게 해야 하며, 이는 진짜 시스템에 대한 높은 확률의 근사치를 보장할 수 있는가?
• RQ3 유한 시간 관측 하에서 차수(순서)가 알려지지 않은 시스템의 식별 정확도에 대한 본질적 한계는 무엇인가?
• RQ4 제안된 방법은 차수 선택과 파라미터 추정에서 최소 최대 최적성을 달성할 수 있는가?
• RQ5 자기정규화된 마팅글 차수 항은 어떻게 하여 라운드 시간 시스템 식별에서 날카로운 오차 경계를 제공하는가?

주요 결과

• 제안된 방법은 헨켈 기반 최소 제곱 추정기 구성으로 인해 기저 LTI 시스템에 대한 높은 확률의 근사치를 달성한다.
• 식별 오차는 최소 최대 하한에 비해 로그 인자 수준까지 제한되며, 이는 거의 최적의 성능를 의미한다.
• 데이터 의존적 모델 차수 선택 절차는 최소 최대 최적이며, 동일한 데이터 길이에서 더 높은 차수의 모델은 유사한 정확도로 추정될 수 없다.
• 헨켈 유사 표현을 사용함으로써 비볼록성을 피하여 볼록적이며 안정적인 파라미터 추정을 가능하게 한다.
• 칼만-호에 영향을 받은 방법으로 시스템 파라미터를 실현하면 안정적이고 정확한 진짜 시스템 근사치를 얻을 수 있다.
• 이론적 분석은 방법의 오차 경계가 날카로우며, 주요 오차 항이 자기정규화된 마팅글 차수 수열에 의해 제어됨을 확인한다.