[논문 리뷰] Sample Complexity of Sparse System Identification Problem

Salar Fattahi, Somayeh Sojoudi|arXiv (Cornell University)|2018. 03. 21.

Control Systems and Identification참고 문헌 18인용 수 9

한 줄 요약

이 논문은 선형 시간 불변 시스템에서 희박한 시스템 식별을 위한 블록 정규화 추정기( estimator )를 제안하며, 고차원 통계 기법을 활용하여 최소한의 데이터로 정확한 복원을 달성한다. 샘플 복잡도가 시스템 차원에 대해 로그적으로, 블록 크기와 희박성에 대해 다항적으로 증가함을 보여주며, 샘플 수가 시스템 차원보다 훨씬 적은 경우에도 정확한 희박성 구조 복원이 가능하다는 것을 입증한다.

ABSTRACT

In this paper, we study the system identification problem for sparse linear time-invariant systems. We propose a sparsity promoting block-regularized estimator to identify the dynamics of the system with only a limited number of input-state data samples. We characterize the properties of this estimator under high-dimensional scaling, where the growth rate of the system dimension is comparable to or even faster than that of the number of available sample trajectories. In particular, using contemporary results on high-dimensional statistics, we show that the proposed estimator results in a small element-wise error, provided that the number of sample trajectories is above a threshold. This threshold depends polynomially on the size of each block and the number of nonzero elements at different rows of input and state matrices, but only logarithmically on the system dimension. A by-product of this result is that the number of sample trajectories required for sparse system identification is significantly smaller than the dimension of the system. Furthermore, we show that, unlike the recently celebrated least-squares estimators for system identification problems, the method developed in this work is capable of extit{exact recovery} of the underlying sparsity structure of the system with the aforementioned number of data samples. Extensive case studies on synthetically generated systems, physical mass-spring networks, and multi-agent systems are offered to demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 제한된 입력-상태 샘플 데이터를 가진 고차원, 희박한 선형 시간 불변(LTI) 시스템에서의 시스템 식별 문제에 대응한다.
• 샘플 수가 시스템 차원보다 작을 경우 실패하는 고전적 최소제곱 추정기의 한계를 극복한다.
• 상태 및 입력 행렬의 블록 희박성 특성을 활용하여 필요한 샘플 경로 수를 줄이는 방법을 개발한다.
• 소수의 요소 오차를 보장하는 비점근적 샘플 복잡도 경계를 수립한다.
• 유한 샘플 조건 하에서 진짜 희박성 구조를 정확히 복원할 수 있음을 입증한다.

제안 방법

• 시스템 행렬의 블록에 대해 ℓ∞-노름을 정규화 항으로 사용하여 블록 희박성을 유도하는 블록 정규화 추정기를 제안한다.
• 고차원 스케일링 조건 하에서 비점근적 오차 경계를 유도하기 위해 고차원 통계 도구를 사용한다.
• 각 블록이 하위계 간 상호작용을 나타내는 블록 구조를 가진 상태공간 방정식으로 시스템을 모델링한다.
• 제한된 입력-상태 경로로부터 시스템 행렬을 추정하기 위해 정규화된 최적화 프레임워크를 적용한다.
• 고차원에서 Lasso 유형 추정의 일致성과 오차율을 분석하기 위해 고차원 통계 이론을 활용한다.
• 수치적 평가를 위해 연속 시간 시스템을 전진 오일러 방법으로 이산화한다.

실험 결과

연구 질문

• RQ1 희박한 LTI 시스템에서 소수의 요소 오차를 달성하기 위해 필요한 최소 입력-상태 샘플 경로 수는 얼마인가?
• RQ2 샘플 수가 시스템 차원보다 적은 경우에도 블록 정규화 추정기가 진짜 희박성 구조를 정확히 복원할 수 있는가?
• RQ3 샘플 복잡도는 시스템 차원, 블록 크기, 비영 블록 수에 따라 어떻게 변화하는가?
• RQ4 유한 샘플 환경에서 최소제곱법과 표준 Lasso에 비해 추정 정확도 측면에서 제안된 추정기는 어떻게 비교되는가?
• RQ5 교환 가능한 연결 구조를 가진 다중 에이전트 및 네트워크 시스템에서 시스템 동역학을 효과적으로 식별할 수 있는가?

주요 결과

• 제안된 블록 정규화 추정기는 샘플 경로 수가 시스템 차원에 대해 로그적으로 증가하고, 블록 크기와 희박성에 대해 다항적으로 증가하는 임계값을 초과할 경우 소수의 요소 오차를 달성한다.
• 이 방법은 시스템 차원보다 훨씬 적은 샘플 수로도 시스템 행렬의 블록 희박성 구조를 정확히 복원할 수 있다.
• 스프링-질량 네트워크에서는 RME ≤ 0.1%를 달성하기 위해 단지 900개의 샘플 경로로 충분했으며, 최소제곱법은 2000개 이상의 샘플이 필요로 했다.
• 블록 크기가 (5,5), (8,8), (11,11)인 다중 에이전트 시스템에서는 각각 195, 278, 434개의 샘플 경로가 필요로 하여 RME ≤ 0.1%를 달성했다.
• 블록 정규화 추정기는 정확도와 적용 가능성 측면에서 최소제곱법을 능가하며, 샘플 수가 900 미만일 경우에도 유일한 해를 가지며 유지된다. 반면 최소제곱법은 해가 유일하지 않게 된다.
• 모든 테스트된 시스템 차원과 샘플 크기에서 제안된 방법의 정규화된 추정 오차는 최소제곱법보다 항상 낮게 유지된다.