[논문 리뷰] A Joint introduction to Gaussian Processes and Relevance Vector Machines with Connections to Kalman filtering and other Kernel Smoothers

Luca Martino, Jesse Read|arXiv (Cornell University)|2020. 09. 19.

Gaussian Processes and Bayesian Inference참고 문헌 53인용 수 70

한 줄 요약

이 논문은 커널 리지 회귀를 통해 가우시안 프로세스(GPs)와 관련성 벡터 기반 기계(RVMs)를 통합적인 확률적 프레임워크로 연결하며, 칼만 필터링과 커널 스무딩 기법과의 연관성을 제시한다. GP 스무딩 해법이 특정 상태공간 모형 하에서 칼만 스무딩과 수학적으로 동일하다는 것을 보여주며, 베이지안 비모수적 및 신호 처리 기법들 간의 회귀, 필터링, 스무딩, 보간에 대한 통합적 시각을 제공한다.

ABSTRACT

The expressive power of Bayesian kernel-based methods has led them to become an important tool across many different facets of artificial intelligence, and useful to a plethora of modern application domains, providing both power and interpretability via uncertainty analysis. This article introduces and discusses two methods which straddle the areas of probabilistic Bayesian schemes and kernel methods for regression: Gaussian Processes and Relevance Vector Machines. Our focus is on developing a common framework with which to view these methods, via intermediate methods a probabilistic version of the well-known kernel ridge regression, and drawing connections among them, via dual formulations, and discussion of their application in the context of major tasks: regression, smoothing, interpolation, and filtering. Overall, we provide understanding of the mathematical concepts behind these models, and we summarize and discuss in depth different interpretations and highlight the relationship to other methods, such as linear kernel smoothers, Kalman filtering and Fourier approximations. Throughout, we provide numerous figures to promote understanding, and we make numerous recommendations to practitioners. Benefits and drawbacks of the different techniques are highlighted. To our knowledge, this is the most in-depth study of its kind to date focused on these two methods, and will be relevant to theoretical understanding and practitioners throughout the domains of data-science, signal processing, machine learning, and artificial intelligence in general.

연구 동기 및 목표

• 가우시안 프로세스(GPs)와 관련성 벡터 기반 기계(RVMs)의 회귀 문제에 대한 공통 이론적 및 계산적 프레임워크를 수립하기 위해.
• 확률적 커널 리지 회귀(베이지안 리지 회귀)를 통해 GP와 RVM 방법 간의 관계를 명확히 하기 위해.
• 특정 공분산 구조를 갖는 이산 시간 상태공간 모형 하에서 가우시안 프로세스 스무딩과 칼만 스무딩 간의 등가성을 입증하기 위해.
• GPs, RVMs, 커널 스무딩기법, 칼만 필터링을 연결하여 기계 학습, 신호 처리, 통계 분야의 개념을 통합하기 위해.
• GP 및 RVM 프레임워크 내에서 불확실성 추정, 커널 선택, 기능적 사전/사후 샘플링에 대한 실용적 지침을 제공하기 위해.

제안 방법

• 계수에 대한 자동 관련성 결정(ARD) 사전분포를 갖는 베이지안 선형 회귀를 통해 RVM 해법을 유도한다.
• RVM과 GP 간의 다리 역할을 하는 확률적 커널 리지 회귀(KRR)의 버전을 도입하며, 이를 '준-GP'로 지칭한다.
• 정적 공분산 함수 ψ(t, t′) = γ^|t−t′|σ²_v / (1 − γ²)를 갖는 평균이 0인 가우시안 프로세스 사전분포를 사용하여 GP 해법을 유도한다.
• 특정 커널 구조 하에서 RVM 해법이 GP 사후분포로 해석될 수 있음을 보여주는 이중 형식을 수립한다.
• GP 공분산 함수를 일阶 마르코프 과정을 갖는 상태공간 모형으로 매핑함으로써, GP 스무딩과 칼만 스무딩 간의 등가성을 입증한다.
• 연속 시간 선형 확률 미분 방정식을 사용하여 기저 GP 과정의 스펙트럼 밀도와 공분산 함수를 유도하며, 이를 상태공간 모형의 전력 스펙트럼 밀도와 연결한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스와 관련성 벡터 기반 기계는 어떤 공통 확률적 프레임워크에 통합될 수 있는가?
• RQ2 이산 시간 및 연속 시간에서 GP 스무딩과 칼만 스무딩 간의 정확한 수학적 관계는 무엇인가?
• RQ3 RVM의 기저 함수 선택과 GP의 커널 선택 간의 예측 분산 및 해석 가능성 측면에서의 비교는 어떠한가?
• RQ4 커널 리지 회귀, 커널 스무딩기법, k-NN 기법은 GP 및 RVM 방법과 어떤 관계가 있는가?
• RQ5 선형 SDE로부터 상태공간 모형으로서 GP의 표현을 유도할 수 있는가? 이는 과정의 스펙트럼 밀도와 어떻게 관련되는가?

주요 결과

• GP 공분산 함수가 특정 자기상관 구조를 갖는 일계 마르코프 과정과 대응할 경우, GP 스무딩 해법은 칼만 스무딩 해법과 수학적으로 동일하다.
• GP 모델의 예측 분산은 관측점에서의 거리에 따라 잘 정의된 단조 감소 경향을 보이며, 반면 RVM은 기저 함수 선택으로 인해 직관에 어긋나는 분산 행동을 보일 수 있다.
• RVM은 기저 함수 설계에서 더 큰 유연성을 제공하여 도메인 특화 모델링이 가능하지만, GP는 유효한 커널 함수를 정의해야 하는 제약에 갇혀 있다.
• 상수 계수를 갖는 선형 SDE로부터 유도된 GP 과정의 전력 스펙트럼 밀도는 칼만 필터의 상태 전이 역학의 스펙트럼 표현과 정확히 일치한다.
• 칼만 스무딩의 후행 재귀 계산은 동일한 커널과 관측 모형 하에서 GP의 사후 평균 및 분산을 정확히 재현한다.
• 이 논문은 GP의 커널 함수가 상태공간 모형의 상태 전이 행렬에 의해 암묵적으로 유도될 수 있음을 입증하며, 베이지안 비모수 회귀와 고전적 필터링 이론 간의 깊은 연결 고리를 제공한다.