[논문 리뷰] The Gaussian Neural Process

Wessel P. Bruinsma, James Requeima외 3명|arXiv (Cornell University)|2021. 01. 10.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 5

한 줄 요약

이 논문은 예측 분포를 가우시안 프로세스로 직접 매개변수화함으로써 정확한 우도 계산과 예측 상관관계 모델링이 가능한 새로운 메타학습 모델인 가우시안 신경 프로세스(GNP)를 소개한다. 번역 불변성과 보편적 근사성을 통합함으로써 1차원 회귀 벤치마크에서 기존 신경 프로세스를 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

Neural Processes (NPs; Garnelo et al., 2018a,b) are a rich class of models for meta-learning that map data sets directly to predictive stochastic processes. We provide a rigorous analysis of the standard maximum-likelihood objective used to train conditional NPs. Moreover, we propose a new member to the Neural Process family called the Gaussian Neural Process (GNP), which models predictive correlations, incorporates translation equivariance, provides universal approximation guarantees, and demonstrates encouraging performance.

연구 동기 및 목표

• 조건부 신경 프로세스(CNPs)가 예측 상관관계를 모델링하는 데에 한계가 있고 일관된 샘플을 생성하지 못하는 문제를 해결하기 위해.
• 기본 확률 과정의 사후 예측 맵을 직접 근사하는 메타학습 프레임워크를 개발하기 위해.
• 기능적 KL 발산을 유한 차원 분포로 완화함으로써 실용적이고 유한하며 안정적인 학습 목표를 제공하기 위해.
• 모델이 어떤 기저 가우시안 프로세스 예측 맵이라도 보편적으로 근사할 수 있도록 하면서도 닫힌 형태의 우도를 유지하기 위해.
• 제안된 GNP가 우도와 사전 공분산 구조 측면에서 진짜 가우시안 프로세스 예측 맵을 복원할 수 있음을 입증하기 위해.

제안 방법

• 기능적 KL 발산을 유한 차원 분포(f.d.d.s)에 대한 KL 발산 최소화를 통해 완화함으로써 확률 과정 간의 기능적 KL 발산을 완화한다.
• 예측 분포를 신경망이 매개변수화한 평균 및 공분산 함수를 갖는 가우시안 프로세스로 모델링하는 가우시안 신경 프로세스(GNP)를 제안한다.
• ConvCNP에서 영감을 얻은 커널 기반 어텐션 메커니즘을 통해 번역 불변성을 구현함으로써 입력 이동에 대한 불변성을 확보한다.
• 학습을 위해 닫힌 형태의 우도를 사용하여 몬테카를로 근사 없이 정확한 최적화를 가능하게 한다.
• 이론적 기초로 기능적 KL 목표를 적용하며, 실용적 완화를 통해 유한 차원 투영으로 목표의 유한성과 안정성을 확보한다.
• 컨텍스트 세트를 처리하고 GP 매개변수(평균 및 공분산)를 출력하는 신경망 인코더를 사용하여 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 직접 가우시안 프로세스를 매개변수화하는 신경 프로세스 모델이 기존 CNPs보다 더 나은 예측 불확실성 캘리브레이션과 상관관계 모델링을 달성할 수 있는가?
• RQ2 기능적 KL 목표의 제안된 완화가 확률 과정을 사용한 메타학습에 대해 유한하고 안정적인 학습 목표를 제공하는가?
• RQ3 GNP의 보편적 근사 보장이 진짜 가우시안 프로세스의 예측 맵을 복원함으로써 경험적으로 검증될 수 있는가?
• RQ4 기존 신경 프로세스 변종과 비교해 볼 때, GNP는 외부 분포 및 외삽 과제에서 우도와 일반화 성능 측면에서 어떻게 성능을 내는가?
• RQ5 번역 불변성을 통합함으로써 소수의 샘플에서의 일반화와 샘플의 일관성은 향상되는가?

주요 결과

• GNP는 내삽 과제에서 테스트 로그 우도 0.70 ± 0.005를 달성하여 ConvCNP(−0.80 ± 0.01)와 ANP(−0.61 ± 0.01)를 능가한다.
• 외삽 과제에서는 로그 우도 0.44 ± 0.003을 기록하여 ConvCNP(−1.41 ± 0.007)와 ANP(−1.31 ± 0.005)를 크게 앞서며 성능을 냈다.
• GNP는 진짜 GP 예측 맵을 우도와 사전 공분산 함수 측면에서 성공적으로 복원하여 보편적 근사 능력을 입증했다.
• 표준 CNPs가 독립적인 예측을 생성하는 데 반해, GNP는 예측 상관관계를 모델링할 수 있어 일관되고 다양한 샘플을 생성한다.
• 닫힌 형태의 우도 덕분에 불안정한 잠재변수 기반 NP 변종의 비가역성 문제를 피할 수 있었고, 안정적이고 효율적인 학습이 가능했다.
• 경험 결과로 GNP는 훈련 범위를 초월해 잘 일반화되며, 외부 분포 입력에 대해 높은 우도와 낮은 불확실성을 보였다.