[논문 리뷰] Deep Gaussian Processes with Importance-Weighted Variational Inference

Hugh Salimbeni, Vincent Dutordoir외 2명|arXiv (Cornell University)|2019. 05. 14.

Gaussian Processes and Bayesian Inference인용 수 20

한 줄 요약

이 논문은 깊이 있는 가우시안 프로세스(DGPs)를 위한 새로운 중요도 가중치가 부여된 변분 추론 방법을 제안한다. 비가우시안 주변 분포를 모델링하기 위해 추가 노이즈가 아닌 독립적인 잠재 변수를 공변수로 도입한다. 상관된 GPs에 대한 희소 변분 추론과 비상관 잠재 변수에 대한 중요도 가중치 추정을 결합함으로써, 특히 더 깊은 모델에서 사후 분포 근사 정확도가 향상되며, 다양한 1D 밀도 추정 작업에서 표준 변분 추론을 능가한다.

ABSTRACT

Deep Gaussian processes (DGPs) can model complex marginal densities as well as complex mappings. Non-Gaussian marginals are essential for modelling real-world data, and can be generated from the DGP by incorporating uncorrelated variables to the model. Previous work on DGP models has introduced noise additively and used variational inference with a combination of sparse Gaussian processes and mean-field Gaussians for the approximate posterior. Additive noise attenuates the signal, and the Gaussian form of variational distribution may lead to an inaccurate posterior. We instead incorporate noisy variables as latent covariates, and propose a novel importance-weighted objective, which leverages analytic results and provides a mechanism to trade off computation for improved accuracy. Our results demonstrate that the importance-weighted objective works well in practice and consistently outperforms classical variational inference, especially for deeper models.

연구 동기 및 목표

• 추가 노이즈의 한계를 해결하기 위해 깊이 있는 가우시안 프로세스에서 신호를 약화시키고 비가우시안 데이터 주변 분포의 모델링을 제한하는 문제를 해결한다.
• 잠재 변수에 대한 평균장 가우시안 근사 대신 중요도 가중치가 부여된 방법을 도입함으로써 DGPs의 사후 분포 근사 정확도를 향상시킨다.
• 독립적인 잠재 변수를 노이즈가 아닌 공변수로 간주함으로써, 복잡한 비가우시안 데이터 분포를 더 잘 모델링할 수 있도록 한다.
• GP 성분의 해석적 취급 가능성을 유지하면서 정확도를 높이기 위해 계산량을 늘리는 스케일러블 추론 프레임워크를 개발한다.
• 깊이 있는 DGP 모델이 잠재 공변수와 중요도 가중치 추론을 통해 고전적 변분 추론 및 노이즈 없는 기준 모델을 일관되게 능가함을 경험적으로 검증한다.

제안 방법

• 상관된 잠재 함수를 위한 가우시안 프로세스 레이어와 비상관, i.i.d. 노이즈 변수를 입력으로 연결함으로써 도입된 잠재변수(LV) 레이어를 갖는 두 가지 다른 레이어를 사용하여 깊이 있는 가우시안 프로세스를 모델링한다.
• 유도 점을 사용한 희소 변분 추론을 적용하여 GP 함수의 사후 분포를 근사함으로써 계산 효율성과 해석적 취급 가능성을 확보한다.
• 잠재 변수에 대해 평균장 가우시안 근사를 사용하며, 데이터 포인트 간에 상관없이 독립적으로 간주하고 GP에 추가 입력으로 통합한다.
• 잠재 변수 사후 분포에서 샘플을 재가중하는 방식으로 사후 분포 근사 정확도를 향상시키는 새로운 중요도 가중치가 부여된 변분 추론 목표를 제안한다.
• 중요도 가중치 방법을 부분적으로 축소된 변분 추론과 결합함으로써, 해석 결과를 유지하면서도 더 나은 기울기 추정과 사후 분포 근사 정확도를 달성한다.
• 중요도 가중치 목표에서 기울기 분산 문제를 완화하기 위해 이중 재파arameterization 기울기 추정기를 사용하여 학습 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 독립적인 잠재 변수를 추가 노이즈가 아닌 공변수로 간주함으로써 깊이 있는 가우시안 프로세스에서 비가우시안 데이터 주변 분포의 모델링을 향상시킬 수 있는가?
• RQ2 중요도 가중치가 부여된 변분 추론 방법이 깊이 있는 GP 모델에서 표준 평균장 변분 추론보다 일관된 성능 향상을 제공하는가?
• RQ3 잠재 공변수와 중요도 가중치를 갖는 제안된 DGP의 성능은 다양한 1D 밀도 추정 작업에서 노이즈 없는 DGP 모델 및 고전적 변분 추론과 비교해 어떻게 되는가?
• RQ4 중요도 가중치 방법이 특히 더 깊은 네트워크 아키텍처에서 사후 분포 근사 정확도를 얼마나 향상시키는가?
• RQ5 제안된 방법이 표준 GP 모델이 잘 포착하지 못하는 복잡한 다모드 및 비연속적인 데이터 분포를 효과적으로 모델링할 수 있는가?

주요 결과

• 잠재 공변수와 중요도 가중치 추론을 갖는 제안된 DGP 모델은 깊이 있는 아키텍처에서 특히 두드러지게 고전적 변분 추론 및 노이즈 없는 DGP 기준 모델을 일관되게 능가한다.
• 다중모드 및 조각별로 일정한 분포와 같은 비가우시안 주변 분포는 'DGP 글리프 데이터셋'과 같은 시뮬레이션 데이터를 통해 성공적으로 포착되었다.
• 중요도 가중치 목표는 테스트된 모든 데이터셋에서 예측 가능도와 사후 분포 근사 정확도를 향상시켰으며, 모델 깊이가 증가할수록 성능 향상이 커졌다.
• 커널 분산도 초수를 통해 레이어를 '비활성화'할 수 있는 모델의 능력으로 인해 더 깊은 모델이 성능을 떨어뜨리지 않으며, 길이 척도를 큰 값으로 설정함으로써 잠재 변수 레이어를 비활성화할 수 있다.
• 작은 및 중간 크기의 데이터 영역에서 제안된 DGP는 조건부 VAE와 같은 정규화되지 않은 모델이 과적합하는 상황에서도 강건성을 보이며 잘 일반화된다.
• 닫힌 형태의 예측 밀도가 없음에도 불구하고 몬테카를로 샘플링을 통해 고품질의 사후 추정을 달성했으며, 중요도 가중치가 분산을 감소시키고 수렴을 향상시켰다.