[논문 리뷰] A Unifying Framework for Gaussian Process Pseudo-Point Approximations using Power Expectation Propagation

Thang D. Bui, Josiah Yan외 1명|arXiv (Cornell University)|2016. 05. 23.

Gaussian Processes and Bayesian Inference참고 문헌 38인용 수 48

한 줄 요약

이 논문은 생성 모델을 수정하는 대신 추론 문제로 희소 GP 추론을 재구성함으로써 가우시안 프로세스 가짜점 근사의 통합 프레임워크를 제안한다. 이 방법은 기존의 접근 방식을 통합하고, Power EP의 매개수 α를 통해 민첩한 최적화를 가능하게 하며, 다양한 데이터셋에서 회귀 및 분류 작업에서 최고 성능을 기록하며 정확도와 견고성을 향상시킨다.

ABSTRACT

Gaussian processes (GPs) are flexible distributions over functions that enable high-level assumptions about unknown functions to be encoded in a parsimonious, flexible and general way. Although elegant, the application of GPs is limited by computational and analytical intractabilities that arise when data are sufficiently numerous or when employing non-Gaussian models. Consequently, a wealth of GP approximation schemes have been developed over the last 15 years to address these key limitations. Many of these schemes employ a small set of pseudo data points to summarise the actual data. In this paper, we develop a new pseudo-point approximation framework using Power Expectation Propagation (Power EP) that unifies a large number of these pseudo-point approximations. Unlike much of the previous venerable work in this area, the new framework is built on standard methods for approximate inference (variational free-energy, EP and Power EP methods) rather than employing approximations to the probabilistic generative model itself. In this way, all of approximation is performed at `inference time' rather than at `modelling time' resolving awkward philosophical and empirical questions that trouble previous approaches. Crucially, we demonstrate that the new framework includes new pseudo-point approximation methods that outperform current approaches on regression and classification tasks.

연구 동기 및 목표

• 생성 모델에 대한 부호적 수정 없이 희소 가우시안 프로세스 근사에 대한 통합적이고 추론 기반의 프레임워크를 개발하는 것.
• 이전의 가짜점 방법에서 발생하는 철학적 및 경험적 모순을 해결하기 위해, 모든 근사를 모델링 시간이 아닌 추론 시간에 수행하는 것.
• VFE, EP, Snelson의 방법과 같은 기존의 광범위한 희소 GP 방법들을 단일 원리적인 Power EP 설정으로 통합하는 것.
• 새로운 프레임워크가 실제 회귀 및 분류 작업에서 현재 최고 수준의 방법을 능가하는 새로운 근사 기법을 가능하게 함을 보여주는 것.

제안 방법

• 프레임워크는 가우시안 프로세스 모델에서 잠재 함수의 사후 분포를 근사하기 위해 파wr 엑PECTATION PROPAGATION (Power EP)를 사용하며, 가짜점들을 변분 매개수로 간주한다.
• 변분 베이즈(VFE, α→0)와 표준 EP(α=1) 사이를 연결하는 연속적인 보간 매개수 α를 도입하여 추론 전략 간의 부드러운 전환을 가능하게 한다.
• 전체 GP 사전분포를 M개의 가짜 입력과 그에 대응하는 가짜 출력을 사용하여 근사함으로써, 계산 비용을 O(N³)에서 O(NM²)로 감소시킨다.
• 각 훈련 데이터 포인트가 M개의 가짜점과 관련된 요소로 근사되는 요소 그래프 표현에서 반복적인 메시지 전달을 통해 근사 추론을 수행한다.
• 적절한 가능도(가우시안 및 베르누이)를 사용함으로써 프레임워크는 회귀와 분류 모두를 지원하며, 두 설정 간에 동일한 추론 기계 장치를 적용한다.
• Power EP 프레임워크 내의 변분 자유 에너지 목적함수를 사용하여 가짜점과 하이퍼파rameter를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 기존의 다양한 희소 GP 근사 방법을 수용할 수 있는 단일 통합 프레임워크를 개발할 수 있는가?
• RQ2 Power EP 매개수 α는 GP 추론에서 정확도와 계산 효율성 사이의 상호 보완적 관계에 어떻게 영향을 미치는가?
• RQ3 제안된 추론 시간 근사 프레임워크는 기존의 모델링 시간 근사 방법보다 예측 성능 측면에서 뛰어나게 되는가?
• RQ4 가짜점의 위치는 α에 따라 어떻게 변화하며, 데이터 구조와 결정 경계와의 관계는 어떠한가?
• RQ5 한계 경우에서 표준 EP나 VFE와 같은 기존 방법을 복원할 수 있으며, 이는 그것들을 초월하는가?

주요 결과

• 제안된 Power EP 기반 프레임워크는 VFE, EP, Snelson의 방법을 포함한 광범위한 희소 GP 근사 방법들을 단일 추론 프레임워크로 통합한다.
• 프레임워크는 기존 방법보다 우수한 성능을 보이는 새로운 근사 기법을 가능하게 하며, 테스트 로그 손실과 분류 오차 측정 기준에서 둘 다 우수한 결과를 기록한다.
• α=1이고 M=N일 경우, 표준 EP를 GP 분류에 대해 복원하며, 기존의 방법과의 일관성을 확인한다.
• 가짜점의 위치는 α에 따라 동적으로 변화한다: 낮은 α(=VFE 유사)일 경우 결정 경계 근처에 집중되고, 높은 α(=EP 유사)일 경우 데이터 영역 전체에 퍼져 있음을 시각화 결과에서 관찰할 수 있다.
• 실제 데이터셋에서 이 방법은 최고 수준의 성능을 기록하며, 특히 M=100–200개의 가짜점 사용 시 음의 로그우도와 오류율에서 뚜렷한 향상을 보였다.
• 프레임워크는 다양한 데이터셋과 작업에서 견고성을 보이며, 20개의 랜덤 데이터 분할에서 모두 회귀 및 분류 설정에서 VFE와 EP를 초월하는 일관된 성능 향상을 보였다.