[논문 리뷰] Doubly Stochastic Variational Inference for Neural Processes with Hierarchical Latent Variables

Qi Wang, Herke van Hoof|arXiv (Cornell University)|2020. 08. 21.

Neural Networks and Applications인용 수 9

한 줄 요약

이 논문은 예측 불확실성과 표현력을 향상시키기 위해 전역 잠재변수와 타겟에 특화된 국소 잠재변수를 모두 포함하는 계층적 잠재변수 모델인 이중 스토하스틱 변분 신경 프로세스(DSVNP)를 제안한다. 이 방법은 다중 출력 회귀 및 불확실성 인식 이미지 분류에서 최신 기술 수준의 성능을 달성하며, AttnNP와 같은 결정론적 베이스라인보다 OOD 탐지 및 내성에 뛰어난 성능을 보인다.

ABSTRACT

Neural processes (NPs) constitute a family of variational approximate models for stochastic processes with promising properties in computational efficiency and uncertainty quantification. These processes use neural networks with latent variable inputs to induce predictive distributions. However, the expressiveness of vanilla NPs is limited as they only use a global latent variable, while target specific local variation may be crucial sometimes. To address this challenge, we investigate NPs systematically and present a new variant of NP model that we call Doubly Stochastic Variational Neural Process (DSVNP). This model combines the global latent variable and local latent variables for prediction. We evaluate this model in several experiments, and our results demonstrate competitive prediction performance in multi-output regression and uncertainty estimation in classification.

연구 동기 및 목표

• 기본 신경 프로세스가 전역 잠재변수만을 사용해 타겟에 특화된 변동성을 포착하지 못하는 표현력의 한계를 해결하기 위해.
• 지식적 불확실성과 애러토릭 불확실성 모델링을 모두 지원하는 더 유연한 변분 추론 프레임워크를 개발하기 위해.
• 고차원 회귀 및 분류 작업에서 예측 성능와 불확실성 추정을 향상시키기 위해.
• 계층적 잠재변수의 역할이 신경 프로세스 모델의 표현력을 어떻게 향상시키는지 체계적으로 분석하기 위해.
• 외부 분포(Out-of-Distribution, OOD) 탐지 및 내성에서 스토하스틱 국소 잠재변수와 결정론적 잠재변수 간의 우월성을 입증하기 위해.

제안 방법

• 전역 잠재변수와 타겟에 특화된 국소 잠재변수를 계층적 잠재변수 모델에 통합한 이중 스토하스틱 변분 신경 프로세스(DSVNP)를 제안한다.
• 스토하스틱 재파arameterization을 사용한 변분 추론 프레임워크를 도입하여 전역 및 국소 잠재변수 모두의 미분 가능한 학습을 가능하게 한다.
• 출력을 컨텍스트 입력과 전역, 국소 잠재변수의 함수로 모델링하는 공동 생성 과정을 도입하여 다소 유연한 예측 분포를 가능하게 한다.
• 컨텍스트 포인트를 사용해 전역 및 국소 잠재변수의 사후 분포를 추론하는 스토하스틱 인코더를 활용하며, 각 예측에 대해 독립적인 샘플링을 수행한다.
• 인퍼런스 네트워크에서 어텐션 메커니즘을 적용해 컨텍스트 포인트에 주목함으로써 국소 잠재변수 표현을 향상시킨다.
• 이중 스토하스틱 경량 추정기(gradient estimator)를 사용해 변분 하한(ELBO)을 최적화함으로써 미니배치 샘플링을 통한 스케일러블 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 전역 및 국소 잠재변수의 통합이 고차원 회귀 작업에서 신경 프로세스의 예측 성능을 크게 향상시키는가?
• RQ2 불확실성 정량화 및 외부 분포 탐지 측면에서 스토하스틱 국소 잠재변수와 결정론적 잠재변수 간의 성능 차이는 어떠한가?
• RQ3 DSVNP의 계층적 잠재변수 구조가 적대적 노이즈 하에서 분류 작업의 일반화 및 내성에 기여하는가?
• RQ4 기존의 AttnNP 및 기본 신경 프로세스와 비교했을 때, 제안된 모델이 불확실성 인식 예측에서 얼마나 뛰어나게 성능을 냈는가?
• RQ5 이중 스토하스틱 변분 추론의 사용이 복잡한 함수 근사에서 학습 안정성과 수렴에 어떤 영향을 미치는가?

주요 결과

• DSVNP는 다중 출력 회귀에서 경쟁적인 성능을 달성하며, 예측 정확도와 불확실성 캘리브레이션 측면에서 기본 신경 프로세스와 AttnNP를 모두 능가한다.
• 특히 적대적 노이즈 하에서 외부 분포(OOD) 탐지 능력이 뛰어나, 결정론적 AttnNP보다 상당히 뛰어나게 성능을 발휘한다.
• Rademacher 데이터셋에서의 엔트로피 분포 분석 결과, DSVNP는 적대적 편향에 대해 의미 있는 불확실성 추정을 유지함으로써 내성에 뛰어난 것으로 나타났다.
• 스토하스틱 국소 잠재변수의 통합은 단순한 내적 어텐션(attention)을 사용하는 경우에도 불확실성 추정과 일반화 성능을 향상시킨다.
• 실험 결과에 따르면 AttnNP에서의 결정론적 국소 잠재변수 도입은 도메인 데이터셋에서 성능 향상에 기여하지 않으며 OOD 탐지 능력을 떨어뜨림을 확인하여 스토하스틱성의 유용성을 입증하였다.
• 이중 스토하스틱 변분 추론 프레임워크는 복잡도 O((M+N)N)를 가지며 고차원 예측 작업에 대해 실현 가능하게 만든다.