[논문 리뷰] A Unifying Framework for Sparse Gaussian Process Approximation using Power Expectation Propagation.

Thang D. Bui, Josiah Yan외 1명|arXiv (Cornell University)|2016. 05. 23.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 20

한 줄 요약

이 논문은 힘의 기대 전파(Power EP)를 사용한 희소 가우시안 프로세스 근사에 대한 통합 프레임워크를 제안한다. 이 프레임워크는 일관된 추론 기반 접근 방식 내에서 기존의 가짜점 방법들을 재구성한다. 모든 근사를 모델링 시간이 아닌 추론 시간에 수행함으로써, 기존 방법들을 초월하는 더 정확한 새로운 방법들을 개발할 수 있으며, 이는 회귀, 분류, 상태공간 모델링 과제에서 성능을 뛰어나게 한다.

ABSTRACT

Gaussian processes (GPs) are flexible distributions over functions that enable high-level assumptions about unknown functions to be encoded in a parsimonious, flexible and general way. Although elegant, the application of GPs is limited by computational and analytical intractabilities that arise when data are sufficiently numerous or when employing non-Gaussian models. Consequently, a wealth of GP approximation schemes have been developed over the last 15 years to address these key limitations. Many of these schemes employ a small set of pseudo data points to summarise the actual data. In this paper we develop a new pseudo-point approximation framework using Power Expectation Propagation (Power EP) that unifies a large number of these pseudo-point approximations. Unlike much of the previous venerable work in this area, the new framework is built on standard methods for approximate inference (variational free-energy, EP and power EP methods) rather than employing approximations to the probabilistic generative model itself. In this way all of approximation is performed at `inference time' rather than at `modelling time' resolving awkward philosophical and empirical questions that trouble previous approaches. Crucially, we demonstrate that the new framework includes new pseudo-point approximation methods that outperform current approaches on regression, classification and state space modelling tasks.

연구 동기 및 목표

• 대규모 데이터셋이나 비가우시안 우도 함수를 다룰 때 발생하는 계산 및 분석적 비가역성 문제를 해결하기 위해.
• 다양한 기존의 가짜점 근사 방법들을 단일 추론 기반 프레임워크로 통합하기 위해.
• 이전 방법들에서 발생하는 철학적 및 경험적 문제를 해결하기 위해 근사를 모델링 시간에서 추론 시간으로 이동시키기 위해.
• 기존 방법들을 초월하는 뛰어난 성능을 보이는 새로운 가짜점 근사 방법들을 개발하기 위해.

제안 방법

• 프레임워크는 희소 가우시안 프로세스를 위한 핵심 추론 엔진으로 힘의 기대 전파(파워 EP)를 사용한다.
• 전체 데이터셋을 요약하기 위해 가짜 데이터 포인트의 집합을 사용함으로써, 생성 모델을 수정하지 않고도 확장 가능한 추론을 가능하게 한다.
• 모든 근사는 추론 시간에 수행되며, 모델 구축 시에 내재된 모델 특화 가정이나 근사를 피한다.
• 표준 변분 자유 에너지 및 EP 원리를 활용하여 기존 추론 기법과의 일관성을 확보한다.
• 파워 EP의 파워 파라미터를 조정함으로써 새로운 근사 기법의 체계적 유도가 가능하다.
• 통합된 확률적 추론 파이프라인을 통해 회귀, 분류, 상태공간 모델링 전반에 걸쳐 민첩하게 적용 가능하다.

실험 결과

연구 질문

• RQ1 다양한 희소 가우시안 프로세스 근사 방법들을 수용할 수 있는 단일 통합 프레임워크를 개발할 수 있는가?
• RQ2 모델링 시간에서 추론 시간으로 근사를 이동시키는 것이 GP 근사의 정확도와 일관성에 어떤 영향을 미치는가?
• RQ3 제안된 파워 EP 기반 프레임워크가 기존 방법들을 초월하는 새로운 근사 방법을 도출할 수 있는가?
• RQ4 이 프레임워크는 회귀, 분류, 상태공간 모델링 과제 전반에서 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 프레임워크는 일관된 추론 기반 공식화 내에서 광범위한 기존 희소 GP 근사 방법들을 성공적으로 통합하였다.
• 모든 근사를 추론 시간으로 연기함으로써, 이전의 모델링 시간 근사에서 유래하는 모순과 철학적 문제를 피할 수 있었다.
• 프레임워크를 통해 기존 방법들을 초월하는 뛰어난 성능을 보이는 새로운 가짜점 근사 방법들이 유도되었으며, 이는 표준 벤치마크 회귀, 분류, 상태공간 모델링 과제에서 최고 수준의 성능을 달성하였다.
• 모든 평가 과제에서 기존의 희소 GP 방법들에 비해 더 높은 정확도와 강건성을 보이는 파워 EP 기반 접근 방식이 입증되었다.