[논문 리뷰] The Functional Neural Process

Christos Louizos, Xiahan Shi외 2명|arXiv (Cornell University)|2019. 06. 19.

Gaussian Processes and Bayesian Inference참고 문헌 54인용 수 14

한 줄 요약

논문은 국소 잠재 변수 간의 의존성 그래프를 학습함으로써 함수의 분포를 모델링하는 새로운 가역 스토케스틱 프로세스인 기능 신경 프로세스(FNPs)를 소개한다. 이는 전역 잠재 변수가 필요로 하지 않으며, 미니배치 최적화를 통해 확장 가능한 훈련을 가능하게 하며, 신경 프로세스(Neural Processes)와 같은 기준 모델들보다 더 견고한 불확실성 추정을 제공한다.

ABSTRACT

We present a new family of exchangeable stochastic processes, the Functional Neural Processes (FNPs). FNPs model distributions over functions by learning a graph of dependencies on top of latent representations of the points in the given dataset. In doing so, they define a Bayesian model without explicitly positing a prior distribution over latent global parameters; they instead adopt priors over the relational structure of the given dataset, a task that is much simpler. We show how we can learn such models from data, demonstrate that they are scalable to large datasets through mini-batch optimization and describe how we can make predictions for new points via their posterior predictive distribution. We experimentally evaluate FNPs on the tasks of toy regression and image classification and show that, when compared to baselines that employ global latent parameters, they offer both competitive predictions as well as more robust uncertainty estimates.

연구 동기 및 목표

• 전역 잠재 변수나 가중치에 대한 명시적 사전 분포에 의존하지 않고도 유연하고 확장 가능한 함수 분포를 모델링할 수 있는 스토케스틱 프로세스를 개발하는 것.
• 자율 주행과 같은 안전이 중요한 애플리케이션에서의 딥 러닝 모델의 불확실성 추정을 향상시키는 것.
• 함수 근사 모델의 효율적인 미니배치 훈련을 가능하게 하면서도, 가역성과 일관성을 유지하는 것.
• 국소 잠재 변수 간의 구조적 의존성 그래프를 통해 인덕티브 바이어스를 더 쉽게 통합하는 것.
• 회귀 및 이미지 분류 작업에서 경쟁적인 성능과 향상된 불확실성 정량화 성능을 입증하는 것.

제안 방법

• FNPs는 국소 잠재 변수 간의 유도 그래프를 학습하여 함수를 모델링하며, 예측을 조건화하기 위해 기준 집합 R을 사용한다.
• 모델은 그래프 어텐션 메커니즘을 활용하여 점들 간의 의존성을 계산하고, 그래프 내 부모 노드 기반으로 잠재 변수를 매개변수화한다.
• 사후 예측 분포는 기준 집합과 관측된 훈련 데이터에 조건화하여 계산되며, 이는 불확실성 인식 예측을 가능하게 한다.
• 명시적 전역 잠재 변수를 피하고, 관계 구조를 가진 국소 잠재 표현에 의존함으로써, 오토인코더 스타일 모델과 유사한 방식을 취한다.
• 모델은 확장성을 위해 미니배치 최적화를 통해 훈련된다.
• FNP+ 변종은 각 배치마다 무작위로 샘플된 기준 집합을 사용하여 스토케스틱 프로세스의 앙상블을 근사한다.

실험 결과

연구 질문

• RQ1 전역 잠재 변수를 명시적으로 사용하지 않으면서도 가역성과 일관성을 유지할 수 있는 스토케스틱 프로세스를 구성할 수 있는가?
• RQ2 국소 잠재 변수 간의 관계 구조가 전역 잠재 변수 모델에 비해 불확실성 추정을 향상시킬 수 있는가?
• RQ3 기준 집합 R의 선택이 함수 근사에서 불확실성 校정 및 일반화에 어떤 영향을 미치는가?
• RQ4 FNPs는 미니배치 훈련을 통해 대규모 데이터셋에 확장 가능할 수 있는가, 예측 성능를 유지할 수 있는가?
• RQ5 FNPs에서 의존성 그래프 구조를 통해 얼마나 많은 인덕티브 바이어스를 표현할 수 있는가?

주요 결과

• FNPs는 경쟁적인 회귀 및 이미지 분류 성능를 달성하며, 예측 정확도에서 기준 모델과 동일하거나 이를 초월한다.
• FNPs는 특히 분포 외부(Out-of-Distribution, o.o.d.) 탐지에서 신경 프로세스(Neural Processes, NPs)보다 더 견고한 불확실성 추정을 제공하며, AUCR 점수는 모든 기준 모델보다 일관되게 높다.
• 각 배치마다 무작위로 선택된 기준 집합을 사용하는 FNP+ 변종은 o.o.d. 탐지 성능을 향상시키며, R의 확률적 성격이 유리한 정규화 효과를 유도함을 시사한다.
• 고정된 기준 집합을 사용하는 FNP 변종은 고정된 R을 사용하는 NP보다 더 나은 불확실성 校정 성능를 보이며, FNP의 그래프 기반 구조가 강인성을 향상시킴을 시사한다.
• 더 큰 기준 집합 R은 FNP 성능를 향상시키지만, 품질이 양보다 더 중요함을 시사하며, 이는 효율성을 높이기 위해 코어셋 기반의 R 선택 전략이 가능함을 시사한다.
• z(국소 잠재 변수)의 차원이 u(기준 집합 임베딩)보다 높을 경우 불확실성 추정 성능 향상이 이루어지며, z가 충분히 크다면 u의 차원을 높이는 것이 정확도 향상에 기여한다.