[논문 리뷰] Variational Implicit Processes

Chao Ma, Yingzhen Li외 1명|arXiv (Cornell University)|2018. 06. 06.

Gaussian Processes and Bayesian Inference참고 문헌 99인용 수 12

한 줄 요약

이 논문은 은닉 노이즈 변수의 비선형 변환을 통해 함수 사전분포를 정의하는 암묵적 확률적 과정을 활용하여, 복잡한 함수 사전분포에 대한 확률적 추론을 스케일러블하게 수행하는 새로운 프레임워크인 변분 암묵적 과정(VIPs)을 제안한다. 일반화된 웨이크-슬립 업데이트를 활용함으로써, 기울기 추정기 의존 없이 효율적이고 폐쇄형의 변분 추론을 가능하게 하여 베이지안 신경망, 가우시안 프로세스, 베이지안 LSTMs에서 최신 기술 수준의 불확실성 추정과 낮은 예측 오차를 달성한다.

ABSTRACT

We introduce the implicit processes (IPs), a stochastic process that places implicitly defined multivariate distributions over any finite collections of random variables. IPs are therefore highly flexible implicit priors over functions, with examples including data simulators, Bayesian neural networks and non-linear transformations of stochastic processes. A novel and efficient approximate inference algorithm for IPs, namely the variational implicit processes (VIPs), is derived using generalised wake-sleep updates. This method returns simple update equations and allows scalable hyper-parameter learning with stochastic optimization. Experiments show that VIPs return better uncertainty estimates and lower errors over existing inference methods for challenging models such as Bayesian neural networks, and Gaussian processes.

연구 동기 및 목표

• 비모수적 베이지안 모델링에서 암묵적 분포를 활용하여 유연한 비정규 사전분포를 정의하는 유연한 비모수적 베이지안 프레임워크를 개발하는 것.
• 암묵적 확률적 과정에서 사후 추론의 비가역성 문제를 효율적인 변분 추론 알고리즘을 통해 해결하는 것.
• 베이지안 신경망과 LSTMs와 같은 깊이 학습 모델에서 스케일러블한 하이퍼파rameter 학습과 불확실성 정량화를 가능하게 하는 것.
• 데이터 시뮬레이터, 베이지안 신경망, 확률적 과정의 비선형 변환과 같은 다양한 모델 간의 추론을 통합하는 것.

제안 방법

• 잠재 노이즈 변수의 비선형 변환을 통해 함수 사전분포를 정의하는 암묵적 확률적 과정(IPs)을 제안하여, 다양한 비정규 사전분포를 가능하게 한다.
• 일반화된 웨이크-슬립 업데이트를 사용하여 폐쇄형 사후 근사값을 달성하는 변분 암묵적 과정(VIPs) 추론 알고리즘을 유도한다.
• 함수 공간에서 진짜 사후분포를 근사하기 위해 이중 인코더 구조를 사용함으로써 밀도 비율 추정기나 기울기 추정기 의존을 피한다.
• 스토케스틱 최적화를 활용하여 스케일러블한 하이퍼파rameter 학습을 수행하여 대규모 모델에서의 효율적 훈련을 가능하게 한다.
• 공유 샘플 경로를 사용하여 베이지안 신경망, 가우시안 프로세스, 베이지안 LSTMs에 VIP 프레임워크를 적용함으로써 메모리 비용을 감소시킨다.
• 검증 세트 검색을 통한 노이즈 분산 및 인버스와이소버트 하이퍼파rameter 조정을 위해 좌표 상승 유사 절차를 사용한다.

실험 결과

연구 질문

• RQ1 암묵적 확률적 과정이 비모수적 베이지안 모델링에서 잘 정의되고, 매우 다재다능한 함수 사전분포로 활용될 수 있는가?
• RQ2 기울기 추정기나 밀도 비율 근사치에 의존하지 않고도 암묵적 과정에 대한 변분 추론이 효율적으로 수행될 수 있는가?
• RQ3 VIP 프레임워크가 기존 방법에 비해 베이지안 신경망과 가우시안 프로세스에서 불확실성 정량화와 예측 성능을 향상시키는가?
• RQ4 VIPs가 높은 수준의 불확실성 추정 품질을 유지하면서도 복잡한 모델인 베이지안 LSTMs로도 스케일링 가능한가?

주요 결과

• VIPs는 대규모 베이지안 LSTM 추론 작업에서 최신 기술 수준의 성능을 달성하며, 기존의 변분 접근법을 능가한다.
• 테스트 데이터셋에서 VIPs는 -0.60 ± 0.01의 테스트 NLL을 기록하여, VDO(−0.07 ± 0.01)와 GP(−0.27 ± 0.00)를 크게 앞서나간다.
• 태양 복사 에너지 데이터에서 VIPs는 0.08 ± 0.02의 테스트 NLL을 기록하여, SVGP(0.56 ± 0.23)와 GP(0.832 ± 0.00)보다 유의미하게 낮다.
• 청정 에너지 데이터셋에서 VIPs는 0.65 ± 0.01의 테스트 NLL을 기록하여, VI-BNN(0.74 ± 0.01)과 EP-DGP(0.98 ± 0.00)를 능가한다.
• 청정 에너지 데이터셋에서 VIPs는 테스트 RMSE를 0.88 ± 0.02로 낮추어, VDO-LSTM(0.93 ± 0.01)과 α-LSTM(1.38 ± 0.02)를 능가한다.
• VIP 프레임워크는 공유된 K개의 샘플 경로를 통해 스케일러블한 하이퍼파rameter 학습을 가능하게 하며, 낮은 드롭아웃 비율에서 메모리 집약적인 샘플링을 피할 수 있다.