[논문 리뷰] Pathwise Conditioning of Gaussian Processes

James T. Wilson, Viacheslav Borovitskiy외 3명|arXiv (Cornell University)|2020. 11. 08.

Gaussian Processes and Bayesian Inference참고 문헌 100인용 수 4

한 줄 요약

이 논문은 조건부부여를 랜덤 함수 수준에서 다루는 새로운 프레임워크인 경로 기반 조건부부여를 제안한다. 이는 조건부부여를 확률적 분포가 아닌 함수 수준에서 다룸으로써 가우시안 프로세스 사후분포에서 효율적으로 샘플링할 수 있도록 한다. 메이터론의 업데이트 규칙을 활용해 사전 분포의 추세와 데이터 기반 업데이트를 분리함으로써, O(N)의 샘플링 복잡도를 달성하여 베이지안 최적화나 강화학습과 같은 응용 분야에서 고차원 또는 연속적인 함수 경로에 대해 크게 확장 가능한 성능을 제공한다.

ABSTRACT

As Gaussian processes are used to answer increasingly complex questions, analytic solutions become scarcer and scarcer. Monte Carlo methods act as a convenient bridge for connecting intractable mathematical expressions with actionable estimates via sampling. Conventional approaches for simulating Gaussian process posteriors view samples as draws from marginal distributions of process values at finite sets of input locations. This distribution-centric characterization leads to generative strategies that scale cubically in the size of the desired random vector. These methods are prohibitively expensive in cases where we would, ideally, like to draw high-dimensional vectors or even continuous sample paths. In this work, we investigate a different line of reasoning: rather than focusing on distributions, we articulate Gaussian conditionals at the level of random variables. We show how this pathwise interpretation of conditioning gives rise to a general family of approximations that lend themselves to efficiently sampling Gaussian process posteriors. Starting from first principles, we derive these methods and analyze the approximation errors they introduce. We, then, ground these results by exploring the practical implications of pathwise conditioning in various applied settings, such as global optimization and reinforcement learning.

연구 동기 및 목표

• 입력 차원에 따라 세제곱적으로 증가하는 전통적인 분포 기반 샘플링의 계산 불가능성 문제를 해결하기 위해
• 고차원 또는 연속적인 함수 경로에 대해 효율적인 샘플링을 방해하는 근원 분포 중심 접근법의 한계를 극복하기 위해
• GP 사후분포를 랜덤 함수로 간주하는 경로 기반 조건부부여 프레임워크를 개발하여 효율적이고 확장 가능한 샘플링을 가능하게 하기 위해
• 베이지안 최적화나 강화학습과 같은 의사결정 불확실성 환경에서 복잡한 기능을 실용적으로 시뮬레이션할 수 있도록 하기 위해
• 해석 가능한 GP 추론과 몬테카를로 샘플링 사이의 이론적이고 실용적인 다리를 놓기 위해 샘플 경로 수준에서 사전과 데이터 영향을 분리하기 위해

제안 방법

• 메이터론의 업데이트 규칙을 사용하여 GP 조건부부여를 수식화한다: $\boldsymbol{a} \mid \boldsymbol{b} = \boldsymbol{\beta} \overset{\text{d}}{=} \boldsymbol{a} + \mathbf{\Sigma}_{\boldsymbol{a},\boldsymbol{b}} \mathbf{\Sigma}_{\boldsymbol{b},\boldsymbol{b}}^{-1} (\boldsymbol{\beta} - \boldsymbol{b}) $, 조건부부여를 랜덤 변수에 대한 변환으로 간주한다.
• 다른 함수 기저에 따라 표현함으로써 GP 사후분포를 전역(사전) 및 국소(데이터 기반) 성분으로 분해한다.
• 이 분해를 통해 부드러운 추세(사전에서 유래)와 국소적 데이터 영향(우도에서 유래)을 별도로 모델링함으로써 효율적인 경로 기반 업데이트를 가능하게 한다.
• 사전에서 샘플링하고 메이터론 업데이트를 통해 결정론적 보정을 적용함으로써 전체 공분산 역행렬 계산을 피함으로써 효율적인 근사치를 구성한다.
• 입력 위치의 수 $N$ 에 대해 $\mathcal{O}(N)$ 시간 내에 함수 추정치를 근사하기 위해 경로 기반 프레임워크를 적용한다.
• 깊이 있는 GP 아키텍처에 이 방법을 통합하여 엔드 투 엔드 학습을 가능하게 하며, 무작위 푸리에 기저와 유도점을 사용한 희소 GP 근사치를 활용한다.

실험 결과

연구 질문

• RQ1 분포 수준에서가 아니라 샘플 경로 수준에서 조건부부여를 재고함으로써, GP 사후분포에서 효율적이고 확장 가능한 샘플링을 달성할 수 있는가?
• RQ2 어떻게 하면 사전과 데이터 기반 업데이트의 영향을 분리하여 효율적인 경로 기반 계산이 가능하게 할 수 있는가?
• RQ3 경로 기반 조건부부여에 의해 유도되는 근사 오차는 무엇이며, 기저 함수의 선택에 따라 어떻게 변화하는가?
• RQ4 경로 기반 조건부부여는 베이지안 최적화나 강화학습과 같은 의사결정 과제에서 복잡한 고차원 함수 기능에 효과적으로 적용될 수 있는가?
• RQ5 실제 환경에서 기존의 분포 기반 샘플링 방법과 비교하여 경로 기반 조건부부여의 정확성과 효율성은 어떠한가?

주요 결과

• 경로 기반 조건부부여는 기존의 근원 분포 기반 샘플링의 $\mathcal{O}(N^3)$ 복잡도 대비 GP 사후분포에서 $\mathcal{O}(N)$ 시간 내에 샘플링을 가능하게 한다.
• 이 방법은 서로 다른 기저에 의해 표현됨으로써 사전과 데이터 영향을 분리함으로써 전역 추세와 국소적 데이터 영향을 효율적이고 해석 가능한 방식으로 모델링할 수 있다.
• 경로 기반 조건부부여에 의해 유도되는 근사 오차는 해석적으로 유계이며, 기저 함수의 선택에 따라 달라지며, 후보 분포의 주요 모드를 잘 포괄할 경우 성능이 향상된다.
• 이 프레임워크는 깊이 있는 GP 아키텍처에서 효율적인 추론을 지원하며, MNIST에 대한 훈련된 오토인코더를 통해 256개의 무작위 푸리에 기저를 사용해 단일 GPU에서 40분 이내에 재구성 성능을 달성함으로써 이를 입증했다.
• 베이지안 최적화 및 강화학습에서의 실증 결과는 경로 기반 샘플링이 복잡한 기능을 정확하게 시뮬레이션하면서도 계산적 타당성을 유지함을 보여준다.
• 경로 기반 접근법은 기존 GP 방법과 호환되며, 몬테카를로 기반 의사결정 시스템과 같이 반복적인 샘플링이 필요한 모델에 원활하게 통합될 수 있다.