[논문 리뷰] On Input Design for Regularized LTI System Identification: Power-constrained Input

Biqiang Mu, Tianshi Chen|arXiv (Cornell University)|2017. 08. 18.

Control Systems and Identification참고 문헌 20인용 수 3

한 줄 요약

이 논문은 선형 시간 불변(LTI) 시스템 식별을 위한 커널 기반 정규화 방법(KRM)에서 전력 제약 조건이 있는 입력을 설계하기 위한 이단계 볼록 최적화 프레임워크를 제안한다. 입력을 이차 사상으로 변환하여 볼록성을 확보하고, 베이지안 최적성 기준(A-, D-, E-최적성)을 활용함으로써, 대규모 비볼록 문제를 해결하지 않고도 전역 최적 입력을 효율적으로 계산할 수 있으며, 고정 커널에 대해서는 해석적 해를 도출한다.

ABSTRACT

Input design is an important issue for classical system identification methods but has not been investigated for the kernel-based regularization method (KRM) until very recently. In this paper, we consider in the time domain the input design problem of KRMs for LTI system identification. Different from the recent result, we adopt a Bayesian perspective and in particular make use of scalar measures (e.g., the $A$-optimality, $D$-optimality, and $E$-optimality) of the Bayesian mean square error matrix as the design criteria subject to power-constraint on the input. Instead to solve the optimization problem directly, we propose a two-step procedure. In the first step, by making suitable assumptions on the unknown input, we construct a quadratic map (transformation) of the input such that the transformed input design problems are convex, the number of optimization variables is independent of the number of input data, and their global minima can be found efficiently by applying well-developed convex optimization software packages. In the second step, we derive the expression of the optimal input based on the global minima found in the first step by solving the inverse image of the quadratic map. In addition, we derive analytic results for some special types of fixed kernels, which provide insights on the input design and also its dependence on the kernel structure.

연구 동기 및 목표

• 커널 기반 정규화 방법(KRM)이 적용되는 선형 시간 불변(LTI) 시스템 식별 분야에서 체계적인 입력 설계 방법의 부족을 해결한다.
• 사후 평균 제곱오차 행렬의 스칼라 측도(A-, D-, E-최적성)를 사용하여 입력 설계 문제를 베이지안 최적화 문제로 공식화한다.
• 대규모 비볼록 입력 설계 문제의 계산 불가능성을 극복하기 위해 입력 공간을 볼록 도메인으로 변환한다.
• 기존 문제의 구조를 유지하면서 표준 볼록 최적화 소프트웨어를 통해 효율적인 전역 최적화를 가능하게 한다.
• 특정 고정 커널에 대해 해석적 입력 설계를 유도하여 최적의 자극이 커널 구조에 어떻게 의존하는지에 대한 통찰을 제공한다.

제안 방법

• 성능 지표로 사후 평균 제곱오차 행렬을 사용하는 베이지안 관점에 기반하여 입력 설계를 수행한다.
• 원래의 비볼록 문제를 고정된 변수 수를 가진 볼록 최적화 문제로 변환하기 위해 입력 신호의 이차 변환을 도입한다. 이 수는 데이터 길이에 영향을 받지 않는다.
• 베이지안 평균 제곱오차 행렬의 스칼라 측도인 A-최적성(트레이스), D-최적성(행렬식), E-최적성(최대 고유값)을 설계 기준으로 사용한다.
• 이미 잘 알려진 볼록 최적화 소프트웨어를 적용하여 변환된 문제를 효율적으로 해결하고 전역 최소값을 확보한다.
• 볼록 문제의 해에서의 역이미지 계산을 통해 최적의 입력 신호를 재구성한다.
• 특정 고정 커널(예: AMLS, 유리 함수 커널) 하에서 최적 입력에 대한 해석적 표현을 유도하여, 최적 자극이 커널의 스펙트럼 특성에 어떻게 의존하는지 밝혀낸다.

실험 결과

연구 질문

• RQ1 커널 기반 정규화 방법(KRM)이 적용되는 선형 시간 불변(LTI) 시스템 식별 분야에서 입력 설계를 어떻게 체계적으로 공식화할 수 있는가?
• RQ2 전력 제약 조건 하에서 비볼록 입력 설계 문제를 전역 최적성을 보장하는 볼록 문제로 변환할 수 있는가?
• RQ3 커널 구조가 KRM 기반 시스템 식별에서 최적의 자극 신호에 어떤 영향을 미치는가?
• RQ4 다양한 베이지안 최적성 기준(A-, D-, E-최적성)은 결과적인 입력 설계에 어떤 영향을 미치는가?
• RQ5 커널이 고정되어 있을 경우 최적 입력에 대한 해석적 해를 도출할 수 있으며, 이러한 해는 어떤 통찰을 제공하는가?

주요 결과

• 제안된 이단계 방법은 이차 입력 사상에 의해 원래의 비볼록 입력 설계 문제를 볼록 문제로 변환함으로써, 표준 최적화 소프트웨어를 사용한 전역 최적화를 가능하게 한다.
• 변환된 문제에서 최적화 변수의 수는 데이터 포인트의 수에 영향을 받지 않아 대규모 데이터셋에 대한 확장성 보장한다.
• AMLS 또는 유리 함수 커널 등의 고정 커널에 대해서는 최적 입력에 대한 해석적 표현을 도출하였으며, 이는 최적 자극이 커널의 스펙트럼 특성에 의존함을 밝혀낸다.
• 볼록 문제를 해결하고 이차 변환의 역을 취하는 방식으로 전역 최적성을 확보함으로써, 기울기 기반 방법에서 흔히 발생하는 국소 최소값 문제를 피한다.
• 해의 집합 내부에 영벡터가 포함될 수 있는 이론적 조건을 설정하였으며, 이는 $ N \geq 2n - 2 $ 일 때 전체 차원의 해 공간이 존재함을 보장한다.
• 기존 연구(Fujimoto & Sugie, 2016)가 고차원 비볼록 최적화와 수렴 문제를 애로로 겪는 데 비해, 본 프레임워크는 확장 가능하고 효율적인 대안을 제공한다.