[논문 리뷰] Understanding Probabilistic Sparse Gaussian Process Approximations

Matthias Bauer, Mark van der Wilk외 1명|arXiv (Cornell University)|2016. 06. 15.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 65

한 줄 요약

이 논문은 두 가지 인기 있는 희소 가우시안 프로세스 근사법인 FITC와 VFE 간의 체계적인 이론적 및 실증적 비교를 제공하며, VFE가 실제 우도의 하한을 제공하고 더 신뢰성 있고 안정적으로 작동하는 반면, FITC는 편향된 목적 함수, 신뢰할 수 없는 잡음 분산 추정, 열악한 최적화 성질을 앓고 있음을 입증한다. VFE는 최적화가 더 어려운 편이지만, 적절한 초기화를 통해 항상 더 나은 해를 찾는다.

ABSTRACT

Good sparse approximations are essential for practical inference in Gaussian Processes as the computational cost of exact methods is prohibitive for large datasets. The Fully Independent Training Conditional (FITC) and the Variational Free Energy (VFE) approximations are two recent popular methods. Despite superficial similarities, these approximations have surprisingly different theoretical properties and behave differently in practice. We thoroughly investigate the two methods for regression both analytically and through illustrative examples, and draw conclusions to guide practical application.

연구 동기 및 목표

• FITC와 VFE라는 두 가지 널리 사용되는 희소 가우시안 프로세스 근사법의 이론적 및 실용적 행동을 이해하고 대조하는 것.
• FITC가 인기 있음에도 불구하고 하이퍼파rameter 학습 및 잡음 분산 추정에서 자주 실패하는 이유를 조사하는 것.
• VFE가 보고한 과소적합 문제의 원인이 목적 함수에 기인한 것인지, 최적화 과제에 기인한 것인지 평가하는 것.
• 각 방법을 효과적으로 사용할 수 있는 조건과 방법을, 그들 각자의 최적화 지형과 이론적 성질에 기반해 제시하는 것.

제안 방법

• FITC와 VFE를 통합된 표기법으로 비교하며, 양자 모두 전체 GP 사후분포를 근사하기 위해 M개의 유도 입력을 사용한다.
• FITC와 VFE의 목적 함수를 분석하여, VFE가 실제 우도에 대한 진정한 하한을 제공하는 반면, FITC는 그렇지 않음을 보여준다.
• 해석적 유도와 1차원 및 고차원 회귀 예제(예: pumadyn32nm)를 활용해 모델 행동을 비교한다.
• 부정적 로그 우도(예: NLML), 테스트 RMSE, 학습된 하이퍼파ram터(예: 길이 척도, 잡음 분산) 등의 지표를 사용해 최적화 성능을 평가한다.
• 랜덤 재시작, k-means 초기화, FITC 해로부터의 초기화와 같은 최적화 기법을 적용해 VFE 수렴을 향상시킨다.
• 각각의 길이 척도를 갖는 제곱 지수 ARD 커널을 사용해 고차원 환경에서의 특성 중요도와 모델 용량을 평가한다.

실험 결과

연구 질문

• RQ1 FITC와 VFE의 이론적 성질은 무엇이 다른가? 특히 목적 함수와 우도에 대한 하한에 관해.
• RQ2 FITC가 왜 자주 잡음 분산 σ²ₙ을 과소평가하고 우도를 과대평가하는가? 이는 모델 피팅에 어떤 영향을 미치는가?
• RQ3 VFE가 보고한 과소적합 문제의 정도는 목적 함수의 문제인지, 최적화 과제의 문제인지 어느 정도인가?
• RQ4 고차원 데이터셋에서 유도 입력과 하이퍼파ram터를 동시에 최적화할 경우 두 방법은 어떻게 행동하는가?
• RQ5 더 나은 초기화를 통해 VFE의 성능을 향상시킬 수 있으며, 이는 FITC에 비해 해의 품질 측면에서 어떻게 비교되는가?

주요 결과

• VFE는 실제 우도에 대한 진정한 하한을 제공하지만, FITC의 목적 함수는 그렇지 않아 편향된 추론과 신뢰할 수 없는 모델 선택을 초래한다.
• FITC는 자주 잡음 분산 σ²ₙ을 과소평가하며, 특히 고차원 또는 밀도가 낮은 데이터 영역에서는 근처 0에 가까운 값으로 수렴하는 경우가 있다.
• 32차원, 7168개의 훈련 데이터를 갖는 pumadyn32nm 데이터셋에서, VFE는 하이퍼파ram터와 유도 입력을 동시에 최적화할 경우 관련 길이 척도를 식별하지 못해 RMSE가 0.979로 높아졌고, GP의 0.209에 비해 떨어졌다.
• FITC 해로부터 초기화한 VFE는 RMSE 0.212를 달성하며 양호한 피팅을 회복했고, 중요도가 높은 네 개의 길이 척도를 정확히 식별했다. 이는 문제의 근본 원인이 최적화 과제에 있으며, 목적 함수에 있지 않음을 시사한다.
• VFE는 더 많은 유도 포인트를 사용할수록 항상 향상되며, 가능할 경우 진짜 사후분포를 복원한다. 반면 FITC의 성능은 국소 최적점에 크게 의존하며 모델링 용량을 낭비할 수 있다.
• 이론적 이점이 있음에도 불구하고, VFE는 국소 최적점에 더 민감하며, FITC 해나 k-means 군집화를 활용한 철저한 초기화가 좋은 성능을 얻기 위해 필요하다.