[논문 리뷰] Neural Processes

Marta Garnelo, Jonathan Schwarz외 5명|arXiv (Cornell University)|2018. 07. 04.

Gaussian Processes and Bayesian Inference인용 수 27

한 줄 요약

신경 프로세스(Neural Processes, NPs)는 가우시안 프로세스의 데이터 효율성과 불확실성 추정 능력과 신경망의 계산 효율성을 결합한 신경 잠재변수 모델을 도입한다. 데이터로부터 암묵적 커널을 학습하고 전역 잠재변수를 갖는 인코더-디코더 아키텍처를 사용함으로써, NPs는 불확실성 정량화와 함께 빠르고 유연한 함수 예측을 가능하게 하며, 회귀, 최적화, 문맥 기반 밴디트 작업에서 베이스라인을 능가한다.

ABSTRACT

A neural network (NN) is a parameterised function that can be tuned via gradient descent to approximate a labelled collection of data with high precision. A Gaussian process (GP), on the other hand, is a probabilistic model that defines a distribution over possible functions, and is updated in light of data via the rules of probabilistic inference. GPs are probabilistic, data-efficient and flexible, however they are also computationally intensive and thus limited in their applicability. We introduce a class of neural latent variable models which we call Neural Processes (NPs), combining the best of both worlds. Like GPs, NPs define distributions over functions, are capable of rapid adaptation to new observations, and can estimate the uncertainty in their predictions. Like NNs, NPs are computationally efficient during training and evaluation but also learn to adapt their priors to data. We demonstrate the performance of NPs on a range of learning tasks, including regression and optimisation, and compare and contrast with related models in the literature.

연구 동기 및 목표

• 가우시안 프로세스의 한계, 즉 높은 계산 비용과 수작업으로 만든 커널에 대한 의존성을 해결하기 위해 신경망 기반의 대안을 제안하는 것.
• 신경망의 장점인 계산 효율성과 확장 가능한 학습 능력과 확률적 과정의 장점인 불확실성 추정 및 테스트 시점 적응 능력을 결합하는 것.
• 재학습이 필요 없이 문맥 관측치에 적응하는 민감한 데이터 기반 함수 근사화를 가능하게 하는 것.
• 1차원 회귀, 이미지 보완, 베이지안 최적화, 문맥 기반 밴디트와 같은 다양한 작업에서 NPs의 효과성을 입증하는 것.

제안 방법

• NPs는 전역 잠재변수 z를 사용하여 함수의 분포를 모델링하며, 이는 작업 간의 공통된 구조를 포착한다.
• 인코더는 문맥 점수 (x_c, y_c)를 전역 잠재변수 z를 조건으로 하는 잠재 표현으로 변환하며, 깊은 신경망을 사용해 입력을 잠재 코드로 매핑한다.
• 집계기구(예: 평균 풀링)는 문맥 표현을 하나의 문맥 임베딩으로 요약하며, 이는 전역 잠재변수 z를 조건으로 하는 데 사용된다.
• 디코더는 문맥 임베딩과 전역 잠재변수 z를 조건으로 하여 타겟 점수 (x_t, y_t)의 예측을 생성한다.
• 추론은 약류화된 변분 추론을 통해 수행되며, 모델은 단일 전방향 프로세스를 통해 진짜 함수의 사후분포를 근사하도록 학습한다.
• 모델은 로그우도 기반 목적함수를 사용해 엔드 투 엔드로 훈련되며, 문맥에 기반한 타겟 출력의 로그우도를 최대화하고, 최적화를 위해 변분 하한(ELBO)을 사용한다.

실험 결과

연구 질문

• RQ1 신경망은 계산 효율성이 뛰어난 가우시안 프로세스와 유사한 불확실성 추정을 갖춘 함수 분포를 학습할 수 있는가?
• RQ2 신경 모델 내에서 학습된 데이터 기반 커널이 함수 근사 작업에서 수작업으로 만든 커널을 능가할 수 있는가?
• RQ3 신경 프로세스는 단일 통합 아키텍처로 회귀, 이미지 보완, 베이지안 최적화와 같은 다양한 작업에 일반화할 수 있는가?
• RQ4 NPs의 성능은 소수의 샘플 학습 및 문맥 기반 학습 환경에서 MAML과 같은 메타학습 모델 및 기타 딥 잠재변수 모델과 비교해 어떻게 되는가?

주요 결과

• 신경 프로세스는 베이지안 최적화 및 문맥 기반 밴디트 작업에서 최신 기술 수준의 성능을 달성했으며, MAML 및 NeuralLinear와 같은 방법들을 능가하거나 동등하게 성과를 냈다.
• 1차원 회귀 작업에서 NPs는 5000점 테스트 세트에서 테스트 손실 1.04 ± 0.06을 기록했으며, Bayes by Backprop 및 MAML와 같은 모델들을 능가했다.
• 이미지 보완 작업에서는 강력한 일반화 능력을 보였으며, 불확실성 인식 예측을 통해 고품질이고 다양한 재구성 결과를 생성했다.
• 휠 밴디트 문제에서 NPs는 MAML 및 NeuralLinear와 동일한 성능을 보였으며, 누적 보상 21.45 ± 1.3을 기록해 문맥 기반 의사결정에서 강력한 적응 능력을 입증했다.
• 문맥 크기 증가에 따라 효율적으로 스케일링되었으며, 표준 가우시안 프로세스의 O((n + m)^3) 대비 NPs의 추론 복잡도는 O(n + m)이었다.