[논문 리뷰] Regularized system identification using orthonormal basis functions

Tianshi Chen, Lennart Ljung|arXiv (Cornell University)|2015. 04. 11.

Control Systems and Identification참고 문헌 9인용 수 3

한 줄 요약

이 논문은 직교기저함수를 사용한 정규화된 시스템 식별 프레임워크를 제안하며, 충격응답 추정에서의 리지 정규화를 일반 기저함수 전개로 확장한다. 기저함수를 통한 커널 기반 정규화가 계수에 대한 리지 회귀와 동치임을 보이며, 특히 데이터가 제한된 느린 시스템에서 전통적인 FIR 및 라거르 모델보다 뛰어난 성능을 발휘한다.

ABSTRACT

Most of existing results on regularized system identification focus on regularized impulse response estimation. Since the impulse response model is a special case of orthonormal basis functions, it is interesting to consider if it is possible to tackle the regularized system identification using more compact orthonormal basis functions. In this paper, we explore two possibilities. First, we construct reproducing kernel Hilbert space of impulse responses by orthonormal basis functions and then use the induced reproducing kernel for the regularized impulse response estimation. Second, we extend the regularization method from impulse response estimation to the more general orthonormal basis functions estimation. For both cases, the poles of the basis functions are treated as hyperparameters and estimated by empirical Bayes method. Then we further show that the former is a special case of the latter, and more specifically, the former is equivalent to ridge regression of the coefficients of the orthonormal basis functions.

연구 동기 및 목표

• 짧고 노이즈가 많은 데이터 시나리오에서 전통적인 시스템 식별 방법의 한계를 해결한다.
• 느린 동역학 또는 높은 샘플링 속도를 가진 시스템에서 유한 충격응답(FIR) 모델의 높은 분산 문제를 해결한다.
• 직교기저함수를 위한 통합된 정규화 프레임워크를 개발하여 모델 정확도와 강인성을 향상시킨다.
• 기저함수 극점과 커널 구조가 정규화 성능에 미치는 영향을 조사한다.
• 일부 경우에서 충격응답 정규화보다 기저함수 계수에 대한 정규화가 더 우수한 성능을 발휘함을 보여준다.

제안 방법

• 직교기저함수를 사용해 충격응답용 재생 커널 힐버트 공간(RKHS)을 구축하여 커널 기반 정규화를 가능하게 한다.
• 정규화를 충격응답 추정에서 일반 직교기저함수 전개로 확장하며, 기저 극점을 하이퍼파rameter로 간주한다.
• 실제 베이즈 추정을 사용해 직교기저함수의 극점을 추정하고, 데이터 피팅을 최적화한다.
• 기저함수 계수에 대한 커널 리지 회귀 문제로 정규화를 공식화한다.
• 두 가지 커널인 티코노프 정규화된(TC) 커널과 대각선(DI) 커널의 성능에 미치는 영향을 비교한다.
• 사례 연구로 라거르 기저함수를 적용하여, FIR 및 표준 라거르 모델과의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 직교기저함수를 통한 정규화가 표준 FIR 모델 대비 시스템 식별 정확도를 향상시킬 수 있는가?
• RQ2 충격응답에 대한 커널 기반 정규화가 직교기저함수 계수에 대한 정규화와 동치인가?
• RQ3 다른 커널 구조(TC 대비 DI)는 정규화된 기저함수 계수 추정 성능에 어떤 영향을 미치는가?
• RQ4 직교기저함수 계수에 대한 정규화가 전통적인 충격응답 정규화를 능가하는가?
• RQ5 실제 베이즈를 통해 추정된 기저함수 극점의 선택은 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법인 RLAG(정규화된 라거르 기저함수)는 모델 적합도가 각각 91.8% (S1D1), 76.3% (S1D2), 86.8% (S2D1), 70.1% (S2D2)를 기록하며, 느린 시스템 케이스에서 LS-LAG 및 RFIR보다 뚜렷이 뛰어난 성능을 보였다.
• 느린 시스템(S2D1 및 S2D2)에서는 RLAG이 RFIR보다 약 5% 향상된 성능을 보이며, 짧은 기저 표현의 이점을 입증했다.
• TC 및 DI 커널은 RLAG에서 거의 동일한 성능을 보이며, 절대 수렴이 보장될 경우 계수 간 독립성 가정이 타당함을 시사한다.
• RFIR-LAG는 RLAG보다 성능이 열 劣하며, 리지 회귀가 라거르 계수에 대해 적합하지 않은 구조적 불일치로 인해 비효율적임을 시사한다.
• 직교기저함수를 사용한 RKHS 기반 정규화는 기저 계수에 대한 리지 회귀와 수학적으로 동치이며, 이론적 기반을 검증한다.
• 기저함수 극점의 실질적 베이즈 추정은 모델 적합도 향상으로 이어지며, 적응형 하이퍼파rameter 튜닝의 중요성을 확인한다.