[논문 리뷰] Computationally Efficient Bayesian Learning of Gaussian Process State Space Models

Andreas Svensson, Arno Solin외 2명|arXiv (Cornell University)|2015. 06. 07.

Fault Detection and Control Systems인용 수 15

한 줄 요약

이 논문은 사전 공분산에서 유도된 근사 고유함수의 감소질서 기저 위에 동역학을 투영하여, 가우시안 프로세스 상태공간 모델(GP-SSMs)에 대해 계산적으로 효율적인 베이지안 추론 방법을 제안한다. 이 방법은 입자 마르코프 체인 몬테카를로(PMCMC) 알고리즘을 통해 선형 시간 복잡도 학습을 가능하게 하여, 최신 기술 대비 경쟁력 있는 성능과 신뢰할 수 있는 불확실성 정량화를 달성한다.

ABSTRACT

Gaussian processes allow for flexible specification of prior assumptions of unknown dynamics in state space models. We present a procedure for efficient Bayesian learning in Gaussian process state space models, where the representation is formed by projecting the problem onto a set of approximate eigenfunctions derived from the prior covariance structure. Learning under this family of models can be conducted using a carefully crafted particle MCMC algorithm. This scheme is computationally efficient and yet allows for a fully Bayesian treatment of the problem. Compared to conventional system identification tools or existing learning methods, we show competitive performance and reliable quantification of uncertainties in the model.

연구 동기 및 목표

• 고차원 비선형 상태 전이로 인해 전체 베이지안 추론이 계산적으로 불가능한 GP-SSMs 문제를 해결한다.
• 기존의 희소 GP 근사(예: 유도점)의 한계를 극복한다. 이러한 방법들은 최적화되지 않은 니스트롬 방법에 의존하고 변분 추론이 필요하다.
• 최적의 카르후넨–로프 고유기저를 더 잘 근사하는 감소질서 GP-SSM 설정을 개발한다.
• 특화된 입자 MCMC 알고리즘을 사용하여 모델 초모수, 잡음 공분산, 잠재 함수의 효율적이고 전체적인 베이지안 학습을 가능하게 한다.
• 도전적인 동적 시스템 식별 과제에서 경쟁력 있는 성능과 강건한 불확실성 정량화를 입증한다.

제안 방법

• 사전 공분산 구조에서 유도된 근사 고유함수 집합 위에 GP 사전을 투영하여 감소질서 GP-SSM을 설정한다.
• 카르후넨–로프 전개 근사를 사용하여 상태 전이 함수를 무작위 가중치를 가진 기저 함수의 선형 조합으로 표현한다.
• 기저 함수 가중치, 초모수, 잡음 공분산의 사후 분포를 함께 추론하기 위해 입자 지그문드-에이너스 리샘플링(PGAS) 알고리즘을 적용한다.
• 감소질서 모델의 파rameter에 대한 선형 구조를 활용하여 각 반복에서 선형 시간 복잡도를 가지는 효율적인 MCMC 샘플링을 가능하게 한다.
• MCMC 체계에서 효율적인 조건부 갱신을 지원하기 위해 공액 사전분포(잡음 공분산에 대해 역와이소르트, 가중치에 대해 가우시안)를 사용한다.
• 보조 자료에서 이론적으로 감소질서 모델이 기저 함수 수 증가의 극한에서 전체 GP-SSM으로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 근사 고유함수를 기반으로 한 감소질서 GP-SSM이 GP-SSM 학습에서 유도점 기반 방법보다 더 뛰어난 근사 품질을 달성할 수 있는가?
• RQ2 변분 근사에 의존하지 않고도 GP-SSMs에 대한 완전한 베이지안 추론 체계를 계산적으로 효율적으로 만들 수 있는가?
• RQ3 제안된 PMCMC 알고리즘이 비선형 시스템 식별 과제에서 경쟁력 있는 성능과 신뢰할 수 있는 불확실성 정량화를 달성할 수 있는가?
• RQ4 제안된 방법의 계산 복잡도는 기존의 변분 또는 최대우도 접근법 대비 어떻게 비교되는가?
• RQ5 감소질서 GP-SSM 설정은 순차적 학습 및 연속시간 동적 시스템으로 확장될 수 있는가?

주요 결과

• 제안된 감소질서 GP-SSM은 기저 함수 수 증가의 극한에서 보조 자료의 이론적 분석에 따라 전체 GP-SSM으로 수렴한다.
• 입자 MCMC 알고리즘이 반복당 선형 시간 복잡도를 달성하여, Frigola 등(2014b)의 방법과 같은 변분 희소 GP 방법보다 훨씬 더 효율적이다.
• 입력-출력 모델링 과제에서 경쟁력 있는 성능을 보이며, 정확도 면에서 최신 기술의 최대우도 방법과 맞추거나 초월한다.
• 불확실성 정량화가 신뢰할 수 있고 공간적으로 구조화되어 있으며, 데이터 자극이 낮은 영역에서 사후 분산이 증가함을 그림 1에서 확인할 수 있다.
• 기저 함수 수(예: 6–15개/차원)와 입자 수(예: 20개)의 중간 수준의 선택에도 불구하고 혼합성과 수렴에 미치는 영향이 미미하여 알고리즘이 강건함을 입증한다.
• 기존의 많은 방법들이 점 추정치나 변분 근사에 의존하는 것과 달리, 본 방법은 초모수와 잠재 함수에 대한 전체 사후 추론을 가능하게 한다.