[논문 리뷰] Robust Deep Gaussian Processes

Jeremias Knoblauch|arXiv (Cornell University)|2019. 04. 04.

Gaussian Processes and Bayesian Inference참고 문헌 31인용 수 8

한 줄 요약

이 논문은 정보기하학적 원리를 통해 모델 부적합성에 대한 강건성과 체계적인 불확실성 정량화를 향상시키기 위해 일반화된 변분 추론(GVI)을 도입하여 딥 가우시안 프로세스(DGPs)를 개선한다. 표준 우도를 강건한 Lγ_p 손실로 대체하고 조건부 종속적인 변분 가족을 활용함으로써, 100줄 이내의 파이썬 코드로 여러 벤치마크에서 테스트 로그우도와 RMSE에 있어 뚜렷한 향상을 달성한다.

ABSTRACT

This report provides an in-depth overview over the implications and novelty Generalized Variational Inference (GVI) (Knoblauch et al., 2019) brings to Deep Gaussian Processes (DGPs) (Damianou & Lawrence, 2013). Specifically, robustness to model misspecification as well as principled alternatives for uncertainty quantification are motivated with an information-geometric view. These modifications have clear interpretations and can be implemented in less than 100 lines of Python code. Most importantly, the corresponding empirical results show that DGPs can greatly benefit from the presented enhancements.

연구 동기 및 목표

• 체계적인 불확실성 정량화를 통해 딥 가우시안 프로세스(DGPs)의 모델 부적합성에 대한 강건성을 향상시키기 위해.
• 정보기하학적 프레임워크를 사용하여 일반화된 변분 추론(GVI)을 DGPs에 적용하여 더 나은 발산 모델링을 위해.
• 최소한의 코드 오버헤드로 성능을 향상시키는 확장 가능하고 구현 가능한 방법을 개발하기 위해.
• 대규모 베이지안 모델에서 강건한 손실 함수(Lγ_p)가 테스트 우도와 RMSE에 미치는 영향을 평가하기 위해.

제안 방법

• 계층 간 조건부 종속성을 인코딩하는 조건부 종속적인 변분 가족을 사용하여 DGPs에 일반화된 변분 추론(GVI)을 적용한다.
• q({F^l}, {U^l}) = ∏_{l=1}^L p(F^l|U^l, F^{l-1}, Z^{l-1}) × q(U^l) 형태의 변분 가족을 사용하며, q(U^l) = N(μ^l, S^l)로 설정하여 후행 분포 근사의 흐름을 확보한다.
• 미니배치 샘플링과 재구성 기법을 사용한 이중 스토하스틱 최적화를 통해 증거 하한 경계(ELBO)를 효율적으로 추정한다.
• 정규 우도에서 유도된 Lγ_p(θ, x_i) 형태의 강건한 손실 함수를 도입하여 양수성과 수치 안정성을 확보함으로써 추론 성능을 향상시킨다.
• 유도점과 커널 함수를 사용하여 후행 평균 μ^l과 공분산 Σ^l에 대한 닫힌 형태의 표현식을 유도하여 확장 가능한 계산을 가능하게 한다.
• 차원별 길이 척도를 가진 RBF 커널과 화이트닝된 유도점들을 사용하여 최적화 안정성과 수렴 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 GVI는 모델 부적합성 하에서 딥 가우시안 프로세스의 강건성을 향상시킬 수 있는가?
• RQ2 Lγ_p 강건 손실의 사용은 DGPs에서 불확실성 정량화와 예측 성능에 어떤 영향을 미치는가?
• RQ3 GVI를 통한 체계적인 발산 재결합은 DGPs에서 표준 VI보다 더 나은 일반화 성능을 이끌어낼 수 있는가?
• RQ4 보수적인 불확실성 정량화가 딥 베이지안 모델의 예측 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• 제안된 Lγ_p 손실을 사용하는 GVI 기반 DGP는 표준 VI에 비해 모든 벤치마크 데이터셋에서 훨씬 낮은 테스트 로그우도와 RMSE를 달성한다.
• 와인 데이터셋에서 최고 성능을 보인 GVI 설정은 테스트 로그우도를 0.94에서 0.91로, RMSE를 6.8에서 6.6으로 감소시켰다.
• 항공우주 데이터셋에서는 테스트 로그우도가 1.01에서 0.99로, RMSE가 0.5에서 0.4로 감소하여 강건성 향상을 확인했다.
• 단백질 데이터셋에서는 테스트 로그우도가 0.63에서 0.62로, RMSE가 2.75에서 2.70으로 감소하여 일관된 성능 향상을 보였다.
• 결과는 과도하게 보수적인 불확실성 정량화가 테스트 성능을 향상시키지 못하고 오히려 떨어뜨릴 수 있음을 시사하며, 평균 함수의 적응성은 분산 증가보다 더 중요함을 시사한다.
• 이 방법은 최소한의 코드 수정으로도 뚜렷한 성능 향상을 달성했으며, Salimbeni와 Deisenroth [27]의 구현을 100줄 이내의 파이썬 코드로 확장하였다.