[논문 리뷰] An Introduction to Gaussian Process Models

Thomas Beckers|arXiv (Cornell University)|2021. 02. 10.

Gaussian Processes and Bayesian Inference참고 문헌 32인용 수 24

한 줄 요약

이 논문은 동적 시스템에서 회귀를 위한 가우시안 프로세스 모델에 대한 종합적인 소개를 제공하며, 베이지안 기반, 커널 기반 구조 및 예측 분산을 통한 불확실성 정량화 능력을 강조한다. 제어 및 시스템 식별 분야의 응용을 포함하여 커널 함수, 초모수 최적화, 모델 선택과 같은 핵심 이론적 개념을 제시한다.

ABSTRACT

Within the past two decades, Gaussian process regression has been increasingly used for modeling dynamical systems due to some beneficial properties such as the bias variance trade-off and the strong connection to Bayesian mathematics. As data-driven method, a Gaussian process is a powerful tool for nonlinear function regression without the need of much prior knowledge. In contrast to most of the other techniques, Gaussian Process modeling provides not only a mean prediction but also a measure for the model fidelity. In this article, we give an introduction to Gaussian processes and its usage in regression tasks of dynamical systems. Try Gaussian process regression yourself: https://gpr.tbeckers.com

연구 동기 및 목표

• 가우시안 프로세스를 비모수적 베이지안 방법으로서 함수 회귀에 사용하는 데 기초적인 이해를 제공하는 것.
• 커널 함수가 공분산 구조를 정의하고 함수에 대한 사전 믿음을 모델링하는 데 수행하는 역할를 설명하는 것.
• 가우시안 프로세스 회귀가 예측 평균과 분산을 통해 불확실성 정량화를 가능하게 하는 방식을 보여주는 것.
• 로그 최대우도 및 교차검증을 통한 초모수 최적화를 포함한 모델 선택 기법을 제시하는 것.
• 상태공간 및 비선형 출력 오차 모델을 포함한 다중 출력 및 동적 시스템 모델링으로 프레임워크를 확장하는 것.

제안 방법

• 지속적인 색인 집합 위에서 평균 함수와 공분산 함수(커널)로 완전히 정의되는 확률적 과정으로서 가우시안 프로세스를 수식화하는 것.
• 관측된 데이터로 사전 GP를 업데이트하기 위해 베이즈 정리 적용을 통해 예측을 위한 사후 GP 분포를 도출하는 것.
• 입력을 재생핵 힐버트 공간으로 매핑하기 위해 커널 트릭을 사용하여 비선형성을 명시적 특징 변환 없이도 가능하게 하는 것.
• 다변량 정규분포의 조건부 분포를 활용하여 GP 회귀에서 예측 평균과 분산을 계산하는 것.
• 모델 적합도와 일반화 능력의 균형을 맞추기 위해 로그 최대우도 최적화 및 교차검증을 통해 초모수를 최적화하는 것.
• 불확실성 전파를 고려한 가우시안 프로세스 상태공간 모델 및 비선형 출력 오차 모델을 활용하여 동적 시스템에 프레임워크를 확장하는 것.

실험 결과

연구 질문

• RQ1 가우시안 프로세스는 불확실성 정량화를 고려하여 비선형 함수를 동적 시스템에서 어떻게 모델링할 수 있는가?
• RQ2 복잡한 입력-출력 관계를 영리하게 모델링할 수 있도록 하는 커널 함수의 핵심 성질은 무엇인가?
• RQ3 편향과 분산의 균형을 유지하면서도 예측 정밀도를 유지하기 위해 가우시안 프로세스 모델의 초모수를 어떻게 최적화할 수 있는가?
• RQ4 재생핵 힐버트 공간은 가우시안 프로세스 모델의 기능적 성질을 이해하는 데 어떤 역할을 하는가?
• RQ5 상태공간 표현을 포함한 다중 출력 및 동적 시스템 설정으로 가우시안 프로세스 모델을 어떻게 확장할 수 있는가?

주요 결과

• 가우시안 프로세스 회귀는 평균 예측 외에도 전체 예측 분산을 제공하여 엄밀한 불확실성 정량화를 가능하게 한다.
• 커널 함수의 선택은 학습된 함수의 매끄러움과 유연성에 크게 영향을 미치며, 일반적인 선택으로는 제곱 지수, 마테른, 유리함수 커널 등이 있다.
• 로그 최대우도를 통한 초모수 최적화는 적합도와 복잡도의 균형을 맞추는 원칙적인 모델 선택 접근법을 제공한다.
• 관측된 데이터를 바탕으로 한 GP 출력의 조건부 분포는 다변량 정규분포를 따르며, 이는 사후 평균과 분산의 정확한 해석적 계산을 가능하게 한다.
• 이 프레임워크는 다중 출력 회귀를 지원하며, 상태공간 및 비선형 출력 오차 모델 공식화를 통해 동적 시스템으로 확장될 수 있다.
• 모델 오차는 강건성, 시나리오 기반 또는 정보 이론적 접근법을 통해 다룰 수 있어 불확실한 환경에서의 신뢰성을 향상시킬 수 있다.