[논문 리뷰] On kernel design for regularized LTI system identification

Tianshi Chen|arXiv (Cornell University)|2016. 12. 12.

Control Systems and Identification참고 문헌 18인용 수 7

한 줄 요약

이 논문은 정규화된 선형 시간 불변(LTI) 시스템 식별을 위한 커널 설계에 대해 두 가지 체계적인 접근법을 제안한다: 한쪽은 기계학습 관점에서 펄스 응답의 감쇠와 변화율을 모델링하기 위해 진폭 변조 국소 정staionary(AMLS) 커널을 사용하고, 다른 한쪽은 시스템 이론 관점에서 명목 LTI 시스템 모델 기반의 시뮬레이션 유도(SI) 커널을 사용한다. 주요 기여는 커널 구조를 사전 지식과 연결하는 체계적인 프레임워크로, 편향-분산 트레이드오프를 개선하고, 수작업으로 설계된 커널들보다 정확성과 강건성 면에서 뛰어나다.

ABSTRACT

There are two key issues for the kernel-based regularization method: one is how to design a suitable kernel to embed in the kernel the prior knowledge of the LTI system to be identified, and the other one is how to tune the kernel such that the resulting regularized impulse response estimator can achieve a good bias-variance tradeoff. In this paper, we focus on the issue of kernel design. Depending on the type of the prior knowledge, we propose two methods to design kernels: one is from a machine learning perspective and the other one is from a system theory perspective. We also provide analysis results for both methods, which not only enhances our understanding for the existing kernels but also directs the design of new kernels.

연구 동기 및 목표

• LTI 시스템 식별에서 사전 지식을 통합하는 체계적인 정규화 커널 설계 방법의 부족을 해결하기 위해.
• 기계학습 기반 접근법을 개발하여 펄스 응답의 특성(감쇠, 변화율 등)을 진폭 변조 국소 정staionary(AMLS) 커널을 사용해 모델링하기 위해.
• 시스템 이론 기반 접근법을 제안하여 안정성, 감쇠, 공진 주파수와 같은 사전 지식을 시뮬레이션 유도(SI) 커널을 통해 통합하기 위해.
• 기존 커널들(예: SS, DC)이 새로운 프레임워크와 어떻게 연결되는지 이론적 분석을 제공하여, 그들의 구조와 성질에 대한 이해를 심화하기 위해.
• 실험을 통해 제안된 커널이 기존의 수작업으로 설계된 커널들보다 평균 정확성과 강건성 면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 펄스 응답 행동을 진폭 감쇠(질서-1 커널)와 변화율(정staionary 커널)으로 분해함으로써 AMLS 커널 프레임워크를 제안하여 감쇠와 부드러움을 유연하게 모델링할 수 있도록 함.
• 명목 LTI 시스템 모델(예: 복소 공액 극을 가진 2차 시스템)에 다중성 불확실성을 적용하여 시뮬레이션을 수행하고, 그 펄스 응답을 평균이 0인 가우시안 프로세스로 사용하여 SI 커널을 구성함.
• 고정 커널(예: SS, TC, DC, SI)의 원뿔 조합을 고파ram터 그리드에 적용하여, 다중 시간 상수나 공진 주파수와 같은 복잡한 사전 지식을 모델링하기 위한 다중 커널 구조를 수립함.
• 실증 베이즈와 편향 없는 위험 추정을 적용하여 고파ram터 튜닝을 수행함으로써 커널 파라미터의 연속적이고 조합 최적화가 아닌 최적화를 보장함.
• 이론적 연결을 유도하여 DC 및 SS 커널이 AMLS 커널의 특수한 경우임을 보이며, 최대 엔트로피 원리와 관련이 있음을 밝힘.
• 다양한 시스템 동역학을 가진 시뮬레이션 데이터에서 여러 커널(TC, DC, SSp, AMLS-2Os, AMLS-2Od, SI-2Od) 간의 모델 적합도 상자 그림 비교를 통해 프레임워크를 검증함.

실험 결과

연구 질문

• RQ1 LTI 시스템 식별에서 펄스 응답 감쇠와 변화율에 대한 사전 지식을 통합하기 위해 커널 설계를 어떻게 체계화할 수 있는가?
• RQ2 기존에 널리 사용되는 커널들(예: SS, DC)과 제안된 AMLS 커널 프레임워크 사이의 이론적 관계는 무엇인가?
• RQ3 안정성, 감쇠, 공진 주파수와 같은 시스템 이론적 사전 지식은 어떻게 체계적으로 커널 설계에 통합될 수 있는가?
• RQ4 제안된 AMLS 및 SI 커널은 기존의 수작업으로 설계된 커널들에 비해 편향-분산 트레이드오프 면에서 어떤 성능 향상을 보이는가?
• RQ5 다중 커널 조합은 다중 시간 상수나 공진 주파수를 가진 시스템을 효과적으로 모델링할 수 있는가?

주요 결과

• AMLS 커널 프레임워크는 SS 및 DC 커널을 특수한 경우로 일반화하며, 이들이 진폭 변조 국소 정staionary 커널의 일환임을 보여줌.
• 복소 공액 극을 가진 2차 시스템에서 유도된 SI 커널은 진동하는 펄스 응답에서 최고의 성능을 보이며, 평균 정확성과 강건성 면에서 TC 및 AMLS-2Os를 모두 능가함.
• AMLS 커널에 2차 동역학을 적용한 AMLS-2Od 커널은 TC 및 AMLS-2Os보다 뛰어난 평균 정확도를 달성하지만, DC 및 SI-2Od에 비해 略로 낮음.
• SI 커널(5.2)은 강한 진동을 보이는 시스템에 가장 효과적이며, 그 이유는 사전 지식이 진짜 시스템 구조와 매우 유사하기 때문임.
• 상자 그림 비교 결과, 6개 커널 중 5개(TC, DC, SSp, AMLS-2Os, AMLS-2Od, SI-2Od)가 모델 적합도가 0 이하였고, SI-2Od 및 AMLS-2Od가 뛰어난 성능을 보임.
• 이론적 분석을 통해 DC 및 SS 커널이 특정 LTI 시스템으로부터 유도된 시뮬레이션 유도 커널이며, 최대 엔트로피 원리 하에서 최적임을 확인함으로써, 이들이 시스템 이론적 관점에서 설계된 것이 타당함을 검증함.