[논문 리뷰] How Deep Are Deep Gaussian Processes?

Matthew M. Dunlop, Mark Girolami외 2명|arXiv (Cornell University)|2017. 11. 30.

Gaussian Processes and Bayesian Inference참고 문헌 22인용 수 5

한 줄 요약

이 논문은 층 간 조건부 가우시안이고 마르코프 성질을 갖는 구조로 깊이 있는 가우시안 프로세스(DGP)를 통합적으로 모델링하는 프레임워크를 제안한다. 이는 에르고딕성 또는 자명한 해로의 수렴이 효과적 깊이를 제한함을 보여주며, 혼합 시간 또는 열악한 성질로 인해 더 깊은 DGP는 성능 향상의 효과가 점점 줄어들며, 비에르고딕 구조를 명시적으로 설계하지 않는 한 실용적인 추론 이점은 2~3층에 한계가 있음을 시사한다.

ABSTRACT

Recent research has shown the potential utility of Deep Gaussian Processes. These deep structures are probability distributions, designed through hierarchical construction, which are conditionally Gaussian. In this paper, the current published body of work is placed in a common framework and, through recursion, several classes of deep Gaussian processes are defined. The resulting samples generated from a deep Gaussian process have a Markovian structure with respect to the depth parameter, and the effective depth of the resulting process is interpreted in terms of the ergodicity, or non-ergodicity, of the resulting Markov chain. For the classes of deep Gaussian processes introduced, we provide results concerning their ergodicity and hence their effective depth. We also demonstrate how these processes may be used for inference; in particular we show how a Metropolis-within-Gibbs construction across the levels of the hierarchy can be used to derive sampling tools which are robust to the level of resolution used to represent the functions on a computer. For illustration, we consider the effect of ergodicity in some simple numerical examples.

연구 동기 및 목표

• 깊이 있는 가우시안 프로세스의 다양한 구성 방식을 동일한 재귀적이고 조건부 가우시안 프레임워크로 통합하기.
• 기본 마르코프 체인의 에르고딕성 성질을 활용해 DGP의 효과적 깊이를 분석하기.
• 함수 공간에서의 메트로폴리스-위너-지브스 샘플링을 통해 해상도에 민감하지 않은 강건한 추론 도구 개발하기.
• 이론적으로 깊이를 가질 수 있음에도 불구하고 실무에서 일반적으로 2~3층의 얕은 DGP가 효과적인 이유를 명확히 하기.

제안 방법

• 각 층 $ u_{n+1} \mid u_n \sim \mathcal{N}(m(u_n), C(u_n)) $ 에 대해 평균 및 공분산 연산자가 이전 층에 의존하는 마르코프 체인으로 DGP를 모델링한다.
• 재귀적 정의를 통해 네 가지 DGP 유형을 정의한다: 복합 기반, 컨볼루션 기반, 비 stationary 공분산, 비 stationary 공분산 연산자 기반.
• 전이 핵의 스펙트럼 성질을 이용해 이산화된 DGP의 에르고딕성을 분석하고, 혼합 시간과 효과적 깊이를 연결한다.
• 함수 공간에서의 메트로폴리스-위너-지브스 샘플링을 적용해 이산화 해상도에 영향을 받지 않는 강건한 추론을 가능하게 한다.
• MCMC의 혼합과 안정성을 향상시키기 위해 비중앙 파arameterization을 사용한다.
• 약한 수렴 정리들을 통해 점차적 행동을 분석하고, 반복 시에 0 또는 무한으로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 깊이 있는 가우시안 프로세스의 효과적 깊이는 무엇이며, 그 깊이는 마르코프 성질의 에르고딕성에 의해 어떻게 결정되는가?
• RQ2 이론적으로 더 깊은 아키텍처가 가능함에도 불구하고 실무에서 DGP는 왜 일반적으로 2~3층만을 사용하는가?
• RQ3 계층적 가우시안 조건부 분포 기반으로 다양한 DGP 구성 방식을 통합할 수 있는 공통 프레임워크가 존재하는가?
• RQ4 공분산 연산자 또는 평균 함수의 선택이 DGP의 안정성과 표현 능력에 어떤 영향을 미치는가?
• RQ5 에르고딕성과 자명한 해로의 수렴이 베이지안 추론에서 깊은 사전 분포의 유용성을 어느 정도 제한하는가?

주요 결과

• 정리 4는 복합 기반 DGP가 충분히 깊어질수록 상수 함수로 수렴함을 보여주며, 이는 더 넓은 층이나 입력에 의존하는 변환을 통해 피할 수 있다.
• 정리 8은 비 stationary 공분산 함수를 가진 이산화된 DGP에 대해 에르고딕성을 확립하며, 이는 혼합 시간 이후 추가 층이 더 이상 유용하지 않음을 의미한다.
• 정리 14는 일부 비 stationary 공분산 연산자에 대해 함수 공간에서의 유사 에르고딕성을 증명하며, 깊이 제한을 강화한다.
• 정리 16은 반복된 컨볼루션 DGP가 층 수가 증가함에 따라 약한 수렴으로 0 또는 발산함을 보여주며, 이는 추론에 대한 유용성을 제한한다.
• 수치 실험은 데이터 품질이 최적의 깊이를 결정함을 확인한다: 고품질 데이터는 더 많은 층을 유용하게 활용할 수 있으나, 저품질 데이터는 효과적 깊이를 제한한다.
• 사전 분포 $ u_n $ 의 분석은 사후 분포 $ u_n \mid y $ 로 직접 확장되지 않으며, 이는 실용적 층 수가 사전의 깊이가 아니라 데이터의 정보량에 의해 결정됨을 시사한다.