[논문 리뷰] Blind system identification using kernel-based methods

Giulio Bottegal, Riccardo Sven Risuleo외 1명|arXiv (Cornell University)|2014. 12. 12.

Blind Source Separation Techniques참고 문헌 23인용 수 7

한 줄 요약

이 논문은 안정 스플라인 커널을 갖는 가우시안 프로세스로 시스템의 인과 응답을 모델링하는 새로운 커널 기반 블라인 시스템 식별(BSI) 방법을 제안한다. 이 방법은 EM 알고리즘을 통해 알 수 없는 시스템 파라미터, 입력 구조, 노이즈 분산을 추정하며, 자동으로 초매개변수를 조정하고 수치 실험에서 기존 방법보다 정확도와 강건성 면에서 뛰어난 성능을 보인다. 사용자 정의 정규화가 필요하지 않다.

ABSTRACT

We propose a new method for blind system identification. Resorting to a Gaussian regression framework, we model the impulse response of the unknown linear system as a realization of a Gaussian process. The structure of the covariance matrix (or kernel) of such a process is given by the stable spline kernel, which has been recently introduced for system identification purposes and depends on an unknown hyperparameter. We assume that the input can be linearly described by few parameters. We estimate these parameters, together with the kernel hyperparameter and the noise variance, using an empirical Bayes approach. The related optimization problem is efficiently solved with a novel iterative scheme based on the Expectation-Maximization method. In particular, we show that each iteration consists of a set of simple update rules. We show, through some numerical experiments, very promising performance of the proposed method.

연구 동기 및 목표

• 입력 신호가 가용하지 않은 블라인 시스템 식별(BSI) 문제의 불안정성 문제를 해결하기 위해.
• 이전 BSI 접근 방식과 달리 사용자 조정이 필요한 정규화 파라미터를 피하는 완전 자동화된 방법을 개발하기 위해.
• 안정성과 부드러움에 대한 사전 지식을 반영하기 위해 안정 스플라인 커널을 사용해 인과 응답을 가우시안 프로세스로 모델링하기 위해.
• 경험 베이즈 접근을 통해 시스템 인과 응답, 입력 파라미터, 커널 초매개변수, 노이즈 분산을 동시에 추정하기 위해.
• 간단한 업데이트 규칙을 갖는 기대값-최대화(EM) 알고리즘을 통해 효율적인 반복적 해법을 제공하기 위해.

제안 방법

• 안정 스플라인 커널을 갖는 가우시안 프로세스로 인과 응답을 모델링하며, 초매개변수 β를 통해 BIBO 안정성과 부드러움을 반영한다.
• 관측되지 않은 입력 신호를 알려진 저차원 부분공간에 놓여 있음으로 모델링하며, x ∈ ℝ^p 이며 u = Hx 로 표현한다.
• 경험 베이즈 프레임워크를 사용해 출력 데이터의 주변부 확률을 최대화함으로써 초매개변수 β(커널), x(입력 파라미터), σ²(노이즈 분산)를 추정한다.
• 각 반복에서 (1) 인과 응답의 사후 평균과 공분산, (2) 업데이트된 입력 파라미터 x, (3) 업데이트된 노이즈 분산 σ², (4) 업데이트된 커널 초매개변수 β를 계산하는 새로운 EM 기반 반복 알고리즘을 개발한다.
• 각 EM 업데이트 단계는 행렬 역행렬과 추적 계산을 포함한 단순한 선형 대수 연산을 포함하며, 효율적인 계산이 가능하다.
• 이 방법은 완전히 자동화되어 있으며, 정규화 파라미터나 모델 차수 선택에 대한 사용자 조정이 필요하지 않다.

실험 결과

연구 질문

• RQ1 안정 스플라인 커널을 갖는 커널 기반 방법이 입력 구조에 대한 사전 지식 없이 정확한 블라인 시스템 식별을 달성할 수 있는가?
• RQ2 고차원이고 비凸인 최적화 설정에서 시스템 인과 응답, 입력 파라미터, 노이즈 분산, 커널 초매개변수의 공동 추정을 어떻게 효율적으로 수행할 수 있는가?
• RQ3 BSI 문제에서 수렴성과 계산 효율성을 보장할 수 있는 EM 기반 반복 알고리즘을 설계할 수 있는가?
• RQ4 사용자 선택 정규화 파라미터가 필요한 기존 BSI 기법보다 제안된 방법이 성능 면에서 뛰어나게 되는가?
• RQ5 입력 신호가 알려진 저차원 부분공간에 존재할 경우, 이 방법이 얼마나 강건하게 유지되는가?

주요 결과

• 제안된 EM 기반 알고리즘은 주변부 확률의 국소 최대값으로 수렴하며, 각 반복에서 단순하고 계산 효율적인 업데이트만 포함된다.
• 수치 실험을 통해 인과 응답 복원에서 낮은 추정 오차를 보이며, 합성 데이터 기반 실험에서 높은 정확도를 달성한다.
• 이 방법은 완전히 자동화되어 있어 이전 BSI 방법과 달리 사용자가 정규화 파라미터나 모델 차수를 수동으로 조정할 필요가 없다.
• 안정 스플라인 커널은 시스템의 안정성과 부드러움에 대한 사전 지식을 효과적으로 반영하여 추정 성능을 향상시킨다.
• 특히 저SNR 환경에서 기존 BSI 기법보다 강건성과 정확도 면에서 뛰어나다.
• 이론적 분석을 통해 EM 알고리즘이 Q함수를 x, σ², β에 대해 독립적인 성분으로 분해함을 확인하였으며, 이는 효율적인 순차 최적화를 가능하게 한다.