[논문 리뷰] Kernels for linear time invariant system identification

Francesco Dinuzzo|arXiv (Cornell University)|2012. 03. 22.

Control Systems and Identification참고 문헌 19인용 수 5

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 내에서 커널 설계를 체계적으로 다루는 프레임워크를 제안하여, 인과성, 안정성, 스무쓰니스, 상대 차수, 지연과 같은 구조적 성질을 통합함으로써 선형 시간 불변(LTI) 시스템 식별을 향상시킨다. 기존의 이동 불변 커널(예: RBF)이 안정된 인과 응답을 모델링하는 데 부적합하다는 점을 입증하고, 시스템 특성에 맞는 제약 조건을 강제하는 전용 커널을 도입함으로써 더 나은 정규화와 향상된 식별 성능을 달성하는 커널 학습 기반 접근법을 제시한다.

ABSTRACT

In this paper, we study the problem of identifying the impulse response of a linear time invariant (LTI) dynamical system from the knowledge of the input signal and a finite set of noisy output observations. We adopt an approach based on regularization in a Reproducing Kernel Hilbert Space (RKHS) that takes into account both continuous and discrete time systems. The focus of the paper is on designing spaces that are well suited for temporal impulse response modeling. To this end, we construct and characterize general families of kernels that incorporate system properties such as stability, relative degree, absence of oscillatory behavior, smoothness, or delay. In addition, we discuss the possibility of automatically searching over these classes by means of kernel learning techniques, so as to capture different modes of the system to be identified.

연구 동기 및 목표

• 표준 커널(예: RBF)이 안정된 LTI 시스템의 인과 응답을 식별하는 데 한계를 보이는 문제를 해결하기 위해.
• RKHS 내 정규화를 활용하여 연속 및 이산 시간 LTI 시스템 식별을 위한 통합적인 기능 해석적 프레임워크를 개발하기 위해.
• 안정성, 상대 차수, 지연, 진동 없음 등의 시스템 고유 성질을 인코딩하는 커널 가족을 체계적으로 설계하기 위해.
• 다양한 시스템 행동에 적응하기 위해 다중 커널 학습(MKL)과 같은 기법을 활용해 자동으로 커널 선택을 가능하게 하기 위해.
• 표준 이동 불변 커널이 안정된 인과 응답 모델링에 실패하는 이유에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 재생 커널 힐버트 공간(RKHS) 내에서 정규화된 역 문제로 LTI 시스템 식별을 공식화하여 데이터 피팅 손실과 힐버트 노름 정규화를 최소화한다.
• 무한차원 최적화 문제를 R^ℓ 내의 계수 벡터에 대한 유한차원 문제로 축소하기 위해 리프레젠터 정리(Representer Theorem)를 적용한다.
• K(t,τ) = 0 for t < 0 이 되도록 함으로써 인과성을 강제하는 커널 함수를 구성하며, K(t,τ) = 0 for t < D 를 설정함으로써 지연을 강제한다.
• 커널의 적분 가능성 조건을 통해 안정성을 확보하여, 유도된 시스템이 유한입력 유한출력(BIBO) 안정성을 확보하도록 한다.
• K(t,τ) 및 그 시간 도함수들이 t = 0 에서 차수 k−1까지 0이 되도록 함으로써 스무쓰니스와 상대 차수를 강제하며, 이는 h^(i)(0) = 0 for i < k 를 보장한다.
• 다중 커널 학습(MKL)과 같은 커널 학습 기법을 적용하여 커널 가족 간의 자동 탐색을 수행하고 미지의 시스템 동역학에 적응하도록 한다.

실험 결과

연구 질문

• RQ1 왜 표준 이동 불변 커널(예: RBF)은 안정된 LTI 시스템의 인과 응답을 모델링하는 데 부적합한가?
• RQ2 어떻게 LTI 시스템 식별에서 인과성, 안정성, 상대 차수와 같은 구조적 성질을 체계적으로 커널 함수에 통합할 수 있는가?
• RQ3 커널 기반 정규화가 RKHS 내에서 연속 및 이산 시간 LTI 시스템을 모두 위한 통합 프레임워크로 기능할 수 있는가? (임의의 샘플링 간격을 허용함)
• RQ4 MKL과 같은 커널 학습 기법이 시스템의 미지 특성에 적응함으로써 시스템 식별 성능을 얼마나 향상시킬 수 있는가?
• RQ5 RKHS 내 모든 함수가 스무쓰니스 또는 진동 없음과 같은 원하는 시스템 성질을 만족하도록 보장하기 위한 커널에 대한 이론적 조건은 무엇인가?

주요 결과

• 표준 RBF 및 기타 이동 불변 커널은 인과성 또는 감쇠 성질을 강제하지 않기 때문에 안정된 LTI 인과 응답을 모델링하는 데 실패하며, 이는 일반화 성능이 열 劣하다는 결과를 초래한다.
• 인과성은 K(t,τ) = 0 for t < 0 이 되도록 함으로써 강제되며, 이는 응답 함수가 음의 시간에서 0이 되도록 보장한다.
• 커널이 R² 상에서 적분 가능하면 안정성이 보장되며, 이는 유도된 시스템이 BIBO 안정성을 확보하도록 한다.
• 상대 차수 k 는 커널 및 그 첫 k−1계 도함수가 t = 0 에서 0이 되도록 함으로써 강제되며, 이는 응답 함수 및 그 첫 k−1계 도함수가 t = 0 에서 0이 되도록 보장한다.
• 커널이 (0,∞) 상에서 k번 연속 미분 가능하면 스무쓰니스 차수 k 가 보장되며, 이는 RKHS 내 모든 함수가 이 구간에서 k번 연속 미분 가능함을 의미한다.
• 이론적 분석을 통해 MKL과 같은 커널 학습 기법이 커널 가족 간의 자동 선택에 효과적으로 활용될 수 있음을 증명하였으며, 이는 다양한 시스템 행동에 대한 적응형 모델링을 가능하게 한다.