[논문 리뷰] Probabilistic Programming with Gaussian Process Memoization

Ulrich Schaechtle, Ben Zinberg외 3명|arXiv (Cornell University)|2015. 12. 17.

Gaussian Processes and Bayesian Inference참고 문헌 20인용 수 5

한 줄 요약

이 논문은 메모이제이션을 통한 가우시안 프로세스(GPs) 통합을 통해 고차수 언어에 GPs를 통합하는 확률적 프로그래밍 인터페이스인 gpmem을 소개한다. 이는 임의의 계산 함수에 대한 자동 통계 에뮬레이션을 가능하게 하며, 세 가지 응용—내성적 회귀, 베이지안 구조 학습, 베이지안 최적화—을 단일 50줄짜리 파이썬 라이브러리와 각각 20줄 미만의 확률적 코드로 구현하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Gaussian Processes (GPs) are widely used tools in statistics, machine learning, robotics, computer vision, and scientific computation. However, despite their popularity, they can be difficult to apply; all but the simplest classification or regression applications require specification and inference over complex covariance functions that do not admit simple analytical posteriors. This paper shows how to embed Gaussian processes in any higher-order probabilistic programming language, using an idiom based on memoization, and demonstrates its utility by implementing and extending classic and state-of-the-art GP applications. The interface to Gaussian processes, called gpmem, takes an arbitrary real-valued computational process as input and returns a statistical emulator that automatically improve as the original process is invoked and its input-output behavior is recorded. The flexibility of gpmem is illustrated via three applications: (i) robust GP regression with hierarchical hyper-parameter learning, (ii) discovering symbolic expressions from time-series data by fully Bayesian structure learning over kernels generated by a stochastic grammar, and (iii) a bandit formulation of Bayesian optimization with automatic inference and action selection. All applications share a single 50-line Python library and require fewer than 20 lines of probabilistic code each.

연구 동기 및 목표

• 일반적인 메모이제이션 기반 인터페이스를 통해 고차수 확률적 프로그래밍 언어에 가우시안 프로세스를 원활하게 통합하는 것.
• 계층적 하이퍼파rameter 학습, 기호적 구조 탐색, 베이지안 최적화와 같은 복잡한 GP 응용을 통합된 프레임워크 내에서 지원하는 것.
• 저수준 추론 및 커널 명시의 추상화를 통해 GP 기반 모델의 구현 부담을 줄이는 것.
• 가우시안 프로세스를 포함한 확률적 모델에서 완전히 베이지안 구조 학습 및 추론 프로그래밍을 가능하게 하는 것.
• 복잡한 GP 응용이 단일 공유 경량 라이브러리를 사용해 20줄 미만의 확률적 코드로도 가능하다는 것을 보여주는 것—즉, 최소한의 사용자 정의 코드로도 구현 가능하다는 것.

제안 방법

• 핵심 기법은 소스 함수와 커널을 입력으로 받아, 관측된 입력과 출력에서 학습하는 GP 기반 통계 에뮬레이터를 반환하는 고차수 함수인 gpmem이다.
• gpmem은 소스 함수가 호출될 때마다 GP 사후분포를 저장하고 점진적으로 업데이트하기 위해 메모이제이션을 사용하여 온라인 학습을 가능하게 한다.
• 이 방법은 커널 함수로서 임의의 확률적 프로그램을 지원하며, 하이퍼파rameter와 커널 구조를 함께 베이지안 추론을 통해 추론할 수 있도록 한다.
• 이를 위해 Venture 확률적 프로그래밍 플랫폼의 외부 인터페이스, 추론 프로그래밍, 고차수 함수 지원 기능을 활용하여 효율적이고 유연한 GP 추론을 구현한다.
• 플랫폼의 추론 프로그래밍 구조를 통해 커스터마이징된 추론 전략을 노출함으로써 기울기 기반, 몬테카를로, 변분 추론 기법을 통합한다.
• 이 프레임워크는 모델링과 추론의 중첩을 지원하여, GPs를 임의의 목적 함수에 대한 베이지안 최적화와 같은 메타 최적화 작업에 활용할 수 있다.

실험 결과

연구 질문

• RQ1 일반적인 메모이제이션 인터페이스를 사용해 고차수 확률적 프로그래밍 언어에 가우시안 프로세스를 효과적으로 통합할 수 있는가?
• RQ2 이 통합이 내성적 코드 최소화로도 고도로 복잡한 최신 응용, 예를 들어 완전한 베이지안 구조 학습과 베이지안 최적화를 지원할 수 있는가?
• RQ3 gpmem을 통한 GP 통합은 기존 GP 라이브러리 대비 모델 명시 및 추론의 유연성 측면에서 표현력과 효율성 측면에서 어떻게 비교되는가?
• RQ4 단일 50줄짜리 파이썬 라이브러리가 각각 20줄 미만의 확률적 코드로 다양한 GP 응용을 얼마나 잘 지원할 수 있는가?
• RQ5 이 프레임워크는 고급 확률적 모델링에 필수적인 스토케스틱 재귀, 무한 지지 집합, 고차수 절차를 자연스럽게 지원할 수 있는가?

주요 결과

• gpmem 인터페이스는 고차수 확률적 프로그래밍 언어에 가우시안 프로세스를 종단 간 통합하는 데 성공적으로 기여하며, 최소한의 코드로 다양한 응용을 지원한다.
• 이 프레임워크는 계층적 하이퍼파rameter 학습을 통한 강건한 GP 회귀를 달성하였으며, Neal (1997)의 결과를 완전한 베이지안 접근으로 재현하였다.
• 스토케스틱 문법으로 생성된 커널에 대한 완전한 베이지안 구조 학습을 가능하게 하여, 불확실성 인식 모델 탐색 기능을 갖춘 Automated Statistician 프로젝트를 확장하였다.
• 스톡킹 샘플링 기반의 베이지안 최적화를 지원하며 자동 추론과 동작 선택을 구현함으로써 메타 최적화에서의 유용성을 입증하였다.
• 모든 세 가지 응용은 동일한 50줄짜리 파이썬 라이브러리와 각각 20줄 미만의 확률적 코드로 구현되었으며, 이는 프레임워크의 간결성과 재사용 가능성의 높음을 보여준다.
• 이 방법은 스토케스틱 재귀, 무한 지지, 추론 중첩과 같은 고급 기능을 지원하며, 최첨단 확률적 모델링에 필수적인 요소들을 충족시킨다.