[논문 리뷰] Monotonic Gaussian Process Flow

Ivan Ustyuzhaninov, Ieva Kazlauskaite외 2명|arXiv (Cornell University)|2019. 05. 30.

Gaussian Processes and Bayesian Inference참고 문헌 43인용 수 4

한 줄 요약

이 논문은 확률적 미분 방정식(SDE)을 통해 스트로복틱 프로세스에서 단조성을 보장하는 비모수 베이지안 모델인 Monotonic Gaussian Process Flow를 소개한다. 단조성 드리프트를 갖는 SDE 해를 활용함으로써 표본 경로가 단조적이게 보장되며, 기존의 확률적 단조 모델보다 벤치마크에서 뛰어난 성능을 보이고, 계층적 모델에서 불확실성 인식 시간 정렬을 가능하게 한다.

ABSTRACT

We propose a new framework for imposing monotonicity constraints in a Bayesian nonparametric setting based on numerical solutions of stochastic differential equations. We derive a nonparametric model of monotonic functions that allows for interpretable priors and principled quantification of hierarchical uncertainty. We demonstrate the efficacy of the proposed model by providing competitive results to other probabilistic monotonic models on a number of benchmark functions. In addition, we consider the utility of a monotonic random process as a part of a hierarchical probabilistic model; we examine the task of temporal alignment of time-series data where it is beneficial to use a monotonic random process in order to preserve the uncertainty in the temporal warpings.

연구 동기 및 목표

• 비모수 베이지안 모델, 특히 가우시안 프로세스에서 전역적 단조성을 강제로 구현하는 데 도전한다.
• 유연하고 해석 가능한 사전 분포를 유지하면서 표본 경로에서 단조성을 보장하는 프레임워크를 개발한다.
• 특히 시간 축 정렬에서 단조 변환이 필요로 하는 경우, 계층적 모델에서 불확실성 인식 시간 왜곡을 가능하게 한다.
• 기존 단조 모델을 향상시켜 표본에서 정확한 단조성을 보장하고, 다층 확률적 구조에서의 복합 불확실성을 포착한다.

제안 방법

• 단조 표본 경로를 거의 확실히 보장하는 드리프트 항을 갖는 확률적 미분 방정식(SDE)의 해를 통해 확률적 프로세스를 수립한다.
• SDE의 드리프트 함수를 가우시안 프로세스로 모델링하여 비모수적이고, 민감하며, 매끄러운 단조 함수를 가능하게 한다.
• SDE 해의 유일성 정리를 적용하여, 유도된 프로세스의 모든 표본 경로가 구성상 단조적이게 보장한다.
• 단조 왜곡 함수 $ g(\bullet) $와 GP 관측 모델 $ f(\bullet) $로 이루어진 계층적 이중층 모델에 단조 흐름을 통합하며, 공유된 변분 추론을 사용한다.
• 왜곡 함수와 관측 함수 간의 층 간 상관관계를 활용하여 변분 추론을 수행함으로써 복합 불확실성을 유지한다.
• 딥 GPs를 위한 최신 변분 추론 기술을 활용하여 모델을 스케일업하고 복잡한 비정상 데이터 분포를 다룰 수 있도록 한다.

실험 결과

연구 질문

• RQ1 모든 표본 경로가 후행 제약 없이 거의 확실히 단조적이게 보장되는 비모수 베이지안 모델을 구성할 수 있는가?
• RQ2 해석 가능한 사전 분포와 계층적 모델에서 체계적인 불확실성 정량화를 지원하는 방식으로 단조성을 어떻게 강제할 수 있는가?
• RQ3 제안된 단조 흐름은 표준 회귀 벤치마크에서 기존의 확률적 단조 모델보다 어떻게 성능을 내는가?
• RQ4 단조 왜곡 함수에 불확실성을 포함시키면 시간 시리즈 정렬 모델의 해석 가능성과 강건성은 어떻게 향상되는가?

주요 결과

• 제안된 Monotonic Gaussian Process Flow는 단조 드리프트를 갖는 SDE 해의 이론적 성질 덕분에 모든 표본 경로에서 단조성을 보장한다.
• 벤치마크 함수에서 경쟁력 있는 회귀 성능를 달성하며, 최신 기술의 확률적 단조 모델을 능가하거나 동등하게 성능을 내고 있다.
• 계층적 시간 시리즈 정렬에서, 사전 분포에 부합하는 다양한 타당한 왜곡 함수를 포착하여, 점 추정치가 놓치는 다수의 타당한 데이터 정렬을 드러낸다.
• 변분 추론에 계층 간 상관관계를 포함시킴으로써 복합 불확실성이 유지되어, 점 추정 기반 모델보다 더 정보가 풍부하고 강건한 모델 추정을 이룬다.
• 비정상적이고 복잡한 데이터 분포를 단조 변환을 통해 성공적으로 모델링하여, 시간 정렬 및 궤적 추정과 같은 실세계 적용 분야에서의 유용성을 입증한다.
• 이 프레임워크는 비정상적일 것으로 알려진 기저 변환을 가진 계층적 모델에서 단조 함수를 일반 목적의 첫 번째 층으로 사용할 수 있도록 한다.