[논문 리뷰] Practical Conditional Neural Processes Via Tractable Dependent Predictions

Stratis Markou, James Requeima외 3명|arXiv (Cornell University)|2022. 03. 16.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 출력 상관관계를 학습 가능한 공분산 함수를 통해 명시적으로 모델링하는 가속가능하고 확장 가능한 조건부 신경 프로세스(CNPs)의 확장인 가우시안 신경 프로세스(GNPs)를 소개한다. 이전 방법들이 근사 추론이나 비용이 많이 드는 컨볼루션을 필요로 하는 것과는 달리, GNPs는 정확한 최대우도 학습을 가능하게 하고, 다중 출력 회귀 및 비가우시안 데이터 처리를 위해 역행성 변환을 지원함으로써 예측 성능을 크게 향상시키며, 후속 추정 작업을 위한 일관된 함수 샘플링을 가능하게 한다.

ABSTRACT

Conditional Neural Processes (CNPs; Garnelo et al., 2018a) are meta-learning models which leverage the flexibility of deep learning to produce well-calibrated predictions and naturally handle off-the-grid and missing data. CNPs scale to large datasets and train with ease. Due to these features, CNPs appear well-suited to tasks from environmental sciences or healthcare. Unfortunately, CNPs do not produce correlated predictions, making them fundamentally inappropriate for many estimation and decision making tasks. Predicting heat waves or floods, for example, requires modelling dependencies in temperature or precipitation over time and space. Existing approaches which model output dependencies, such as Neural Processes (NPs; Garnelo et al., 2018b) or the FullConvGNP (Bruinsma et al., 2021), are either complicated to train or prohibitively expensive. What is needed is an approach which provides dependent predictions, but is simple to train and computationally tractable. In this work, we present a new class of Neural Process models that make correlated predictions and support exact maximum likelihood training that is simple and scalable. We extend the proposed models by using invertible output transformations, to capture non-Gaussian output distributions. Our models can be used in downstream estimation tasks which require dependent function samples. By accounting for output dependencies, our models show improved predictive performance on a range of experiments with synthetic and real data.

연구 동기 및 목표

• 조직적 신경 프로세스(CNPs)가 예측값 간 상관관계가 없고 평균장 가정을 따르기 때문에 일관된 함수 샘플링이 어려운 기본적인 한계를 해결하기 위해.
• 근사 추론이나 고차원 컨볼루션과 같은 계산 비용이 많이 드는 연산에 의존하지 않고 출력 의존성을 모델링할 수 있는 방법을 개발하기 위해.
• 스케일이 큰 데이터셋에 적합하면서도 정확한 최대우도 학습이 가능한 상관관계 있는 예측 분포를 유지하기 위해.
• 역행성 변환을 통해 다중 출력 회귀 및 비가우시안 데이터를 처리할 수 있도록 프레임워크를 확장하기 위해.
• 홍수나 폭염 확률 예측과 같은 후속 추정 작업에 필요한 일관된 공간적 일관성을 갖춘 함수 샘플링을 가능하게 하기 위해.

제안 방법

• 심층 특징 벡터에 기반한 컨텍스트 의존적 특징을 사용해 가우시안 예측 분포의 공분산 행렬을 직접 매개변수화하는 가우시안 신경 프로세스(GNPs)를 제안한다.
• 심층 특징에 적용된 정의성 공분산 함수(RBF, Matérn 등)를 사용해 구조적이고 학습 가능한 출력 상관관계를 정의한다.
• 가능한 해석적 추론을 통해 가능해지는 정확한 최대우도 학습을 보장함으로써, 변분 추론이나 몬테카를로 근사와 같은 방법을 피한다.
• 역행성 커파링 레이어(예: 플로우 기반 변환)를 통합하여 비가우시안 출력 분포를 모델링하면서도 해석 가능한 가능도를 유지한다.
• 국소적 수신장 영역을 사용해 구조적 데이터의 공간적 및 시간적 의존성을 포착하는 컨볼루션 버전인 ConvGNP를 설계한다.
• 표준 백프로파게이션을 사용해 모델을 엔드 투 엔드로 학습하며, 테스트 시 추론 시간이 컨텍스트 세트 크기 선형으로 유지되어 확장성 확보.

실험 결과

연구 질문

• RQ1 근사 추론이나 비용이 많이 드는 연산을 피하면서도 조건부 신경 프로세스에서 출력 상관관계를 모델링할 수 있는가?
• RQ2 스케일이 큰 데이터셋에 적합하면서도 출력 의존성을 포괄하는 모델에서 정확한 최대우도 학습이 가능한가?
• RQ3 GNPs는 홍수나 폭염 확률 예측과 같은 후속 추정 작업에 필요한 일관되고 공간적으로 일관된 함수 샘플을 생성할 수 있는가?
• RQ4 실세계 데이터에서 복잡한 의존성을 보이는 경우, GNPs는 평균장 가정을 따르는 CNPs와 잠재변수 기반 NPs보다 성능이 뛰어나게 되는가?
• RQ5 기후 모델링에서 GNPs는 표준 통계적 다운스케일링 방법보다 성능이 뛰어나면서도 공간적으로 일관된 예측을 제공할 수 있는가?

주요 결과

• GNPs는 지수 제곱, Matérn, 노이즈 혼합, 약한 주기적 커널을 포함한 복잡한 공분산 구조를 가진 합성 데이터에서 예측 성능이 크게 향상됨.
• GNPs는 독립성 가정으로 인해 실패하는 일관된 함수 샘플이 필요한 후속 추정 작업—특히 지속적인 고온 이벤트 확률 추정—을 성공적으로 모델링함.
• 실제 EEG 데이터에서 GNPs는 평균장 CNPs와 잠재변수 기반 신경 프로세스 모두보다 예측 정확도와 불확실성 캘리브레이션에서 뛰어난 성능을 보임.
• 기후 모델링에서 GNPs는 널리 사용되는 통계적 다운스케일링 방법의 표준 앙상블보다 예측 성능이 뛰어나면서도 공간적으로 일관된 온도 샘플을 생성함.
• ConvGNP 버전은 다양한 합성 데이터 분포로부터 정교한 예측 공분산 패턴을 효과적으로 복원함으로써 강력한 표현 능력을 입증함.
• 역행성 변환 통합으로 인해 GNPs는 해석 가능한 가능도를 유지하면서도 비가우시안 데이터 분포를 모델링할 수 있게 되어, 가우시안 가정을 초월한 적용 가능성을 넓힘.