[논문 리뷰] Nonparametric Finite Time LTI System Identification

Tuhin Sarkar, Alexander Rakhlin외 1명|arXiv (Cornell University)|2019. 02. 05.

Control Systems and Identification참고 문헌 31인용 수 4

한 줄 요약

이 논문은 노이즈가 있는 입력-출력 데이터로부터 일반 최소 제곱법을 사용해 구성된 헨켈 유사 행렬을 이용하여, 알려지지 않은 차수를 가진 안정적인 선형 시간 불변(LTI) 시스템에 대해 비모수적 유한 시간 시스템 식별 방법을 제안한다. 비볼록 최적화를 피함으로써 정확한 저차수 근사가 가능하며, 통계적 하한에 로그 인자 수준 이내의 식별 오차 이론적 보장을 제공하며, 후크-칼만 알고리즘과 밀접하게 연결된 데이터 기반 모델 차수 선택 기법을 제공한다.

ABSTRACT

We address the problem of learning the parameters of a stable linear time invariant (LTI) system or linear dynamical system (LDS) with unknown latent space dimension, or order, from a single time--series of noisy input-output data. We focus on learning the best lower order approximation allowed by finite data. Motivated by subspace algorithms in systems theory, where the doubly infinite system Hankel matrix captures both order and good lower order approximations, we construct a Hankel-like matrix from noisy finite data using ordinary least squares. This circumvents the non-convexities that arise in system identification, and allows accurate estimation of the underlying LTI system. Our results rely on careful analysis of self-normalized martingale difference terms that helps bound identification error up to logarithmic factors of the lower bound. We provide a data-dependent scheme for order selection and find an accurate realization of system parameters, corresponding to that order, by an approach that is closely related to the Ho-Kalman subspace algorithm. We demonstrate that the proposed model order selection procedure is not overly conservative, i.e., for the given data length it is not possible to estimate higher order models or find higher order approximations with reasonable accuracy.

연구 동기 및 목표

• 단일 노이즈가 있는 입력-출력 시간 시리즈로부터 알려지지 않은 잠재 차수(차수)를 가진 안정적인 LTI 시스템의 유한 시간 시스템 식별 문제를 해결하기 위해.
• 사전 지식이 없는 상황에서 유한한 데이터 기반으로 최적의 모델 차수를 적응적으로 선택하는 비모수적 접근법을 개발하기 위해.
• 최적의 저차수 근사에 대한 식별 오차에 대한 통계적 보장을 제공하여, 최소 최대 하한에 로그 인자 수준 이내로 보장하기 위해.
• 과도하게 보수적이지 않은 데이터 기반 모델 차수 선택 절차를 설계하여 가용한 데이터 길이를 최적화로 활용하기 위해.

제안 방법

• 노이즈가 있는 유한한 입력-출력 데이터로부터 일반 최소 제곱법을 사용해 헨켈 유사 행렬을 구성함으로써, 시스템 식별의 비볼록성 문제를 피하기 위해.
• 이중 무한 시스템 헨켈 행렬의 구조를 활용하여 시스템 차수와 저차수 근사를 동시에 포착하기 위해.
• 자기 정규화된 마팅게일 차수 항목의 신중한 분석을 통해 식별 오차를 로그 인자 수준까지 제한하기 위해.
• 후크-칼만 부분공간 알고리즘을 영감으로 삼아, 추정된 헨켈 행렬의 특이값 기반으로 데이터 의존적인 모델 차수 선택 절차를 설계하기 위해.
• 시스템 실현 문제를 저질서 근사 과제로 재구성하여, 선택된 차수에 대해 시스템 매개변수(A, B, C)의 정확한 추정을 가능하게 하기 위해.
• 활성 입력 설계를 적용하고 비르게의 부등식과 레 캄의 방법을 활용하여, 식별 오차에 대한 정보 이론적 하한을 유도하기 위해.

실험 결과

연구 질문

• RQ1 비모수적 시스템 식별 방법이 시스템 차수에 대한 사전 지식 없이, 유한한 노이즈가 있는 데이터로부터 고차수 LTI 시스템의 정확한 저차수 근사를 달성할 수 있는가?
• RQ2 유한 시간 LTI 시스템 식별의 기본 통계적 한계는 무엇이며, 제안된 방법이 이에 로그 인자 수준 이내로 도달할 수 있는가?
• RQ3 과도한 오버피팅을 방지하고, 주어진 데이터 길이에서 더 높은 차수의 모델이 합리적인 정확도로 추정될 수 없음을 보장하기 위해, 데이터 기반 모델 차수 선택 절차는 어떻게 설계할 수 있는가?
• RQ4 후크-칼만 부분공간 알고리즘이 어떻게, 유한 데이터 및 노이즈가 있는 시스템 식별에 대해 증명 가능한 통계적 보장을 갖는 방식으로 적응시킬 수 있는가?
• RQ5 최소 제곱 헨켈 행렬 추정기를 사용함으로써 국소 최솟값 문제를 피할 수 있는 비볼록 시스템 식별 프레임워크를 구축하는 것은 가능한가?

주요 결과

• 제안된 방법은 최소 최대 하한에 로그 인자 수준 이내로 식별 오차를 달성하여, 로그 항목을 제외한 통계적 최적성의 성립을 입증한다.
• 데이터 의존적인 모델 차수 선택 절차는 과도하게 보수적이지 않으며, 주어진 데이터 길이 T에 대해 더 높은 차수의 모델이 합리적인 정확도로 추정될 수 없다는 점을 의미한다.
• 헨켈 유사 행렬에 일반 최소 제곱법을 적용하는 것이 비볼록 최적화를 효과적으로 피함으로써, 국소 최솟값 문제 없이 전역 최적 추정이 가능하게 한다.
• 이론적 분석을 통해 적절한 가정 하에서 식별 오차가 O((log T)/T) 비례하는 항으로 유계임을 확인하였으며, 이는 헨켈 행렬의 조건수에 따라 달라진다.
• 진짜 차수가 높고 알려지지 않은 상황에서도, 이 방법은 진짜 시스템을 높은 정밀도로 근사하는 저질서 실현을 성공적으로 식별한다.
• 알려진 질서와 조건수를 가진 캐논리컬 시스템을 헨켈 행렬을 통해 구성함으로써, 식별 오차에 대한 날카로운 하한을 도출할 수 있었으며, 이는 이론적 주장의 타당성을 검증한다.