[논문 리뷰] Transforming Gaussian Processes With Normalizing Flows

Juan Maroñas, Oliver Hamelijnck외 2명|Warwick Research Archive Portal (University of Warwick)|2020. 11. 03.

Gaussian Processes and Bayesian Inference참고 문헌 64인용 수 9

한 줄 요약

이 논문은 학습 가능한 입력에 의존하는 정규화 흐름을 가우스 프로세스 사전분포에 적용함으로써 표현력은 높이고 계산 비용은 유지하는 새로운 프레임워크인 변환된 가우스 프로세스(TGP)를 소개한다. 변환된 가우스 프로세스는 변분 추론 기반으로 설계되어, 100개의 유도점으로 구성된 표준 희소 가우스 프로세스와 동일한 성능을 달성하는 데 5개의 유도점만으로도 가능하며, 경계 조건과 같은 해석 가능한 제약 조건을 포함할 수 있다.

ABSTRACT

Gaussian Processes (GPs) can be used as flexible, non-parametric function priors. Inspired by the growing body of work on Normalizing Flows, we enlarge this class of priors through a parametric invertible transformation that can be made input-dependent. Doing so also allows us to encode interpretable prior knowledge (e.g., boundedness constraints). We derive a variational approximation to the resulting Bayesian inference problem, which is as fast as stochastic variational GP regression (Hensman et al., 2013; Dezfouli and Bonilla,2015). This makes the model a computationally efficient alternative to other hierarchical extensions of GP priors (Lazaro-Gredilla,2012; Damianou and Lawrence, 2013). The resulting algorithm's computational and inferential performance is excellent, and we demonstrate this on a range of data sets. For example, even with only 5 inducing points and an input-dependent flow, our method is consistently competitive with a standard sparse GP fitted using 100 inducing points.

연구 동기 및 목표

• 표준 GPs를 넘어서 표현력을 높이되 계산 비용을 증가시키지 않는 것.
• 학습 가능한 역행성 변환을 통해 경계 조건이나 비대칭성과 같은 해석 가능한 사전 지식을 통합하는 것.
• 희소 변분 가우스 프로세스 회귀(O(NM² + M³))의 효율성을 유지하면서도 입력에 의존하는 흐름을 허용하는 변분 추론 방법을 개발하는 것.
• TGP가 희소 가우스 프로세스 모델뿐 아니라 딥 가우스 프로세스 모델보다도 훨씬 적은 유도점을 사용함으로써 예측 성능에서 뛰어난 성능을 내는지 입증하는 것.
• 매개수 불확실성 흐름을 통해 베이지안 신경망과 GP 사전분포를 결합하여 불확실성 인식 모델링을 가능하게 하는 것.

제안 방법

• 기본 GP 사전분포 f₀를 입력에 의존하는 변환 G를 통해 더 표현력 있는 사전분포 fK = G(f₀)로 변환하기 위해, 매개수로 정의된 역행성 정규화 흐름(예: 커파링 레이어)을 적용한다.
• 각 입력 X에 대해 흐름 매개수 θ(W, X)를 예측하기 위해 신경망을 사용하여 GP 사전분포의 입력별 왜곡을 가능하게 한다.
• 유도점과 함께 희소 변분 추론 기반으로 f₀와 흐름 매개수에 대한 사후분포에 대한 변분 근사법을 사용한다.
• MC 드롭아웃 또는 베이지안 신경망 레이어를 활용해 흐름의 매개수 불확실성을 모델링함으로써 일반화 성능과 불확실성 캘리브레이션을 향상시킨다.
• 유도점 수에 대해 선형적으로 확장 가능한 추론 체계를 도출하여 표준 희소 GP의 O(NM² + M³) 복잡도를 유지한다.
• 가능한 비정규 분포의 가능도나 비선형 함수 공간 모델링을 위해 가능도 및 사전분포 변환을 모두 지원한다.

실험 결과

연구 질문

• RQ1 입력에 의존하는 정규화 흐름이 계산 비용을 증가시키지 않으면서도 가우스 프로세스 사전분포의 표현력을 크게 향상시킬 수 있는가?
• RQ2 변환된 GP에 대한 변분 추론 체계가 표준 희소 GP 회귀의 효율성을 유지하면서도 복잡한 데이터 기반의 함수 공간 왜곡을 가능하게 할 수 있는가?
• RQ3 베이지안 신경망을 통해 흐름의 매개수 불확실성을 통합함으로써 GP 모델의 불확실성 측정 및 일반화 성능이 향상되는가?
• RQ4 유도점이 5개뿐인 TGP가 예측 성능 및 가능도 측면에서 100개의 유도점을 사용하는 표준 희소 GP보다 뛰어난 성능을 낼 수 있는가?
• RQ5 구조적 정규화 흐름을 통해 TGP가 경계 조건이나 비대칭성과 같은 해석 가능한 사전 지식을 얼마나 잘 표현할 수 있는가?

주요 결과

• TGP 모델은 오직 5개의 유도점만으로도 다층 딥 가우스 프로세스 수준의 테스트 성능을 달성하며, 100개의 유도점을 사용하는 표준 희소 GP보다 뛰어난 성능을 보였다.
• 유도점 5개와 입력에 의존하는 흐름을 사용함으로써, TGP는 다양한 데이터셋에서 표준 희소 GP(100개 유도점)의 성능을 일관되게 도달하거나 초월했다.
• MC 드롭아웃 기반의 흐름 베이지안 제약 조건은 점 추정 흐름보다 유의미하게 낮은 음의 로그가능도(NLL) 점수를 기록하여 불확실성 캘리브레이션 향상이 확인되었다.
• 다양한 입력 위치에서 다른 마진 분포를 보이며, 입력에 의존하는 변환 능력을 입증한 바, 다양한 입력에 대해 별개의 왜곡 함수를 학습하는 데 성공했다.
• f₀에 대한 변분 사후분포가 상수 분포로 붕괴되지 않아, GP 성분이 단지 신경망 외에 불확실성과 함수 학습에 기여하고 있음을 확인했다.
• 딥 GP나 워프드 GP와 같은 계층적 GP 확장보다 빠른 대안을 제공하며, 더 낮은 계산 비용으로도 뛰어나거나 동등한 성능을 달성했다.