[논문 리뷰] Compositional uncertainty in deep Gaussian processes

Ivan Ustyuzhaninov, Ieva Kazlauskaite외 4명|arXiv (Cornell University)|2019. 09. 17.

Gaussian Processes and Bayesian Inference참고 문헌 29인용 수 6

한 줄 요약

이 논문은 딥 가우시안 프로세스(DGPs)에서 표준 평균장 변분 추론이 계층적 함수 조합에서 구성 불확실성(compositional uncertainty)이 붕괴됨을 밝혀내며, 이는 계층 간 요소 간의 인과관계를 고려하지 않은 인과적 변분 사후 분포가 결정론적 변환을 강제하기 때문이다. 이를 해결하기 위해, 유도점 간의 계층 간 의존성을 포함한 구조적 변분 추론을 제안하며, 이러한 방법이 계층적 함수 조합에서 의미 있는 불확실성을 유지함으로써 시간 시리즈 정렬과 같은 과제에서 더 나은 불확실성 정량화와 해석 가능성 가능성을 보여준다.

ABSTRACT

Gaussian processes (GPs) are nonparametric priors over functions. Fitting a GP implies computing a posterior distribution of functions consistent with the observed data. Similarly, deep Gaussian processes (DGPs) should allow us to compute a posterior distribution of compositions of multiple functions giving rise to the observations. However, exact Bayesian inference is intractable for DGPs, motivating the use of various approximations. We show that the application of simplifying mean-field assumptions across the hierarchy leads to the layers of a DGP collapsing to near-deterministic transformations. We argue that such an inference scheme is suboptimal, not taking advantage of the potential of the model to discover the compositional structure in the data. To address this issue, we examine alternative variational inference schemes allowing for dependencies across different layers and discuss their advantages and limitations.

연구 동기 및 목표

• 표준 변분 추론 하에서 딥 가우시안 프로세스에서 구성 불확실성 붕괴의 근본 원인을 규명하는 것.
• 계층 간 평균장 가정이 결정론적 중간 변환을 초래함으로써 계층적 함수 조합에서의 불확실성 표현 능력을 약화시킨다는 것을 입증하는 것.
• 유도점 간 의존성을 명시적으로 모델링하는 대안적 변분 추론 체계를 제안하고 평가하는 것.
• 특히 시간 시리즈 정렬과 같은 과제에서, 구성 모델의 지식 기반 불확실성(epistemic uncertainty)을 포착하기 위해 계층 간 상관관계가 필수적임을 설명하는 것.
• 인과적 변분 근사에서 벗어나 더 나은 불확실성 정량화 기반을 마련하기 위해, DGPs의 변분 근사에서의 발전을 위한 기초를 다지는 것.

제안 방법

• 계층 간 유도점 간 의존성을 모델링하는 구조적 변분 분포를 제안하며, 표준 평균장 가정을 대체한다.
• 다른 계층의 유도점에 대해 공동 가우시안 사전분포를 도입하여, 상관관계가 있는 사후 근사 분포를 가능하게 하여 구성 불확실성을 유지한다.
• 계층 간 의존성을 고려한 추론 절차를 개발하며, 기울기 기반 최적화를 가능하게 하기 위해 재패arameterization 기법을 사용한다.
• 유도점을 계층 간 공유할 수 있도록 변분 추론 프레임워크를 수정하여, 조합을 결정론적 변환 대신 확률적 변환으로 모델링한다.
• 각 계층의 함수를 데이터 생성 과정에 대한 사전 가정을 반영한 커널을 가진 가우시안 프로세스로 모델링하는 계층적 사전분포 구조를 활용한다.
• 합성 및 실세계 과제(시간 시리즈 정렬 포함)에서 기준 방법과의 정성적·정량적 비교를 통해 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 왜 표준 평균장 변분 추론이 딥 가우시안 프로세스에서 구성 불확실성 붕괴를 유도하는가?
• RQ2 유도점 간 계층 간 의존성이 DGP에서 조합된 함수의 사후 분포에 어떤 영향을 미치는가?
• RQ3 구조적 변분 추론은 계층적 함수 조합에서 의미 있는 지식 기반 불확실성을 얼마나 회복할 수 있는가?
• RQ4 시간 시리즈 정렬이나 강화 학습과 같은 과제에서 구성 불확실성의 실용적 함의는 무엇인가?
• RQ5 다양한 변분 근사 방법은 DGPs의 계층 간 불확실성을 얼마나 잘 유지하는가?

주요 결과

• 표준 평균장 변분 추론은 관측 노이즈가 없더라도 계층 간 인과적 가정으로 인해 거의 결정론적인 중간 계층을 초래한다.
• 구성 불확실성 붕괴는 노이즈가 있는 입력을 가진 회귀 모델과 분석적으로 연결되며, 이 경우 불확실성이 계층 전체에 분산되지 않고 단일 계층에 흡수된다.
• 유도점 분포에 계층 간 상관관계를 도입함으로써 조합에서 의미 있는 불확실성이 복원되며, 여러 가능한 변환을 동시에 표현할 수 있다.
• 공동 분포를 가진 유도점을 사용하는 제안된 구조적 변분 추론은 기존 점 추정 방법과 달리 시간 시리즈 데이터에서 다양한 타당한 정렬을 생성한다.
• 실험 결과는 상관관계가 있는 유도점이 특히 불확실성 인식 추론이 필요한 과제에서 더 강건하고 해석 가능한 함수 조합을 만들어 낸다.
• 이 방법은 시간 정렬 과제에서 왜곡 함수와 잠재 함수 양쪽 모두의 불확실성을 성공적으로 포착하며, 시퀀스 간 공통 함수로의 붕괴를 방지한다.