[논문 리뷰] Non-Gaussian Gaussian Processes for Few-Shot Regression

Marcin Sendera, Jacek Tabor외 6명|arXiv (Cornell University)|2021. 10. 26.

Gaussian Processes and Bayesian Inference참고 문헌 49인용 수 5

한 줄 요약

이 논문은 비정규 분포를 갖는 사전 분포를 모델링하기 위해 역행성 미분방정식 기반 정규화 흐름을 사용하는 비정규 분포 가우시안 프로세스(NGGP)를 제안한다. 이는 소수의 샘플에서 회귀를 수행할 때 가우시안 프로세스(GP)의 성능을 향상시키는 데 목적이 있으며, 랜덤 벡터의 각 성분에 대해 독립적으로 작용하는 역행성 미분방정식 기반 변환을 통해 국소적으로 비정규 분포를 갖는 사후 예측 분포를 모델링한다. 흐름 매개변수를 랜덤 벡터의 구성 요소들 간에 공유하고, 컨텍스트 임bedding에 조건을 붙여, NGGP는 다양한 소수의 샘플 회귀 벤치마크에서 최신 기술(SOTA) 성능을 달성한다. 특히 복잡한 다중 모달성 및 이방산성 분포를 갖는 데이터를 모델링하는 데 뛰어난 성능을 보인다.

ABSTRACT

Gaussian Processes (GPs) have been widely used in machine learning to model distributions over functions, with applications including multi-modal regression, time-series prediction, and few-shot learning. GPs are particularly useful in the last application since they rely on Normal distributions and enable closed-form computation of the posterior probability function. Unfortunately, because the resulting posterior is not flexible enough to capture complex distributions, GPs assume high similarity between subsequent tasks - a requirement rarely met in real-world conditions. In this work, we address this limitation by leveraging the flexibility of Normalizing Flows to modulate the posterior predictive distribution of the GP. This makes the GP posterior locally non-Gaussian, therefore we name our method Non-Gaussian Gaussian Processes (NGGPs). More precisely, we propose an invertible ODE-based mapping that operates on each component of the random variable vectors and shares the parameters across all of them. We empirically tested the flexibility of NGGPs on various few-shot learning regression datasets, showing that the mapping can incorporate context embedding information to model different noise levels for periodic functions. As a result, our method shares the structure of the problem between subsequent tasks, but the contextualization allows for adaptation to dissimilarities. NGGPs outperform the competing state-of-the-art approaches on a diversified set of benchmarks and applications.

연구 동기 및 목표

• 실제 소수의 샘플 학습 작업에서 흔히 나타나는 복잡한 비정규 분포를 모델링하는 데 있어 표준 가우시안 프로세스의 유연성 부족 문제를 해결한다.
• 특히 다중 모달성 또는 이방산성 회귀에서 발생하는 가우시안 가정에 의해 제한되는 GP 사후 분포의 제약을 극복한다.
• 정규화 흐름을 통한 컨텍스트 인식형 적응형 노이즈 모델링을 통해 이질적인 소수의 샘플 작업 간의 일반화를 가능하게 한다.
• 표준 GP를 넘어서 모델링의 유연성을 높이면서도 계산 효율성과 닫힌 형태의 추론을 유지한다.
• 실제 시간 시리즈 및 뇌파 EEG 데이터를 포함한 다양한 소수의 샘플 회귀 벤치마크에서 뛰어난 성능을 입증한다.

제안 방법

• 연속 정규화 흐름(CNF)을 사용하여 GP 사후 예측 분포를 수정하는 프레임워크인 비정규 분포 가우시안 프로세스(NGGP)를 도입한다.
• 각 랜덤 변수 벡터의 성분에 대해 독립적으로 작용하는 역행성 미분방정식 기반 변환을 적용하여 비정규 분포로의 민감한 변환을 가능하게 한다.
• 모든 성분에 대해 미분방정식 기반 흐름의 매개변수를 공유함으로써 매개변수 효율성과 확장성을 확보한다.
• 지원 세트 데이터로부터 유도된 컨텍스트 임베딩에 따라 흐름 매개변수를 조건화하여, 노이즈 수준이나 함수 형태와 같은 작업별 특성에 적응할 수 있도록 한다.
• 정규화 흐름을 통해 표준 정규 분포 사전 분포를 복잡하고 국소적으로 비정규 분포인 사후 분포로 변환하면서도, 닫힌 형태의 사후 분포 계산 능력을 유지한다.
• ODE 솔버를 통해 역전파가 가능한 최대 우도 추정을 사용하여 NGGP를 엔드 투 엔드로 훈련시키며, 커널 하이퍼파rameter와 흐름 매개변수를 함께 최적화한다.

실험 결과

연구 질문

• RQ1 정규화 흐름을 사용하여 GP 사후 분포를 국소적으로 비정규 분포로 만들 수 있을까? 이때 닫힌 형태의 추론을 유지할 수 있는가?
• RQ2 표준 GP와 다른 최신 기술(SOTA) 방법과 비교해 복잡한 다중 모달성 또는 이방산성 회귀 함수를 소수의 샘플 설정에서 NGGP가 얼마나 잘 모델링할 수 있는가?
• RQ3 컨텍스트 조건부 흐름 매개변수화가 이질적인 소수의 샘플 작업 간의 일반화에 얼마나 기여하는가?
• RQ4 제안된 ODE 기반 흐름 아키텍처가 표준 커널 기반 GP 모델보다 더 나은 인덕티브 바이어스와 불확실성 정량화를 제공하는가?
• RQ5 실제 소수의 샘플 회귀 시나리오에서 NGGP는 어떤 경우에 기존 방법을 능가하는가? 특히 데이터가 정규 분포를 따르지 않을 경우에 대해 설명한다.

주요 결과

• NGGP는 다양한 소수의 샘플 회귀 벤치마크에서 최신 기술(SOTA) 성능을 달성한다. 이는 합성 다중 모달 함수, NASDAQ100 주가 데이터, EEG 시간 시리즈를 포함한다.
• NASDAQ100 데이터셋에서 RBF 커널을 사용한 NGGP는 MSE가 0.012 ± 0.014(내부 범위)와 0.016 ± 0.034(외부 범위)를 기록하며, DKT 및 기타 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• EEG 데이터에 대해 RBF 커널을 사용한 NGGP는 MSE가 0.222 ± 0.181(내부 범위)와 0.463 ± 0.415(외부 범위)를 기록하여, 비정규성과 노이즈가 많은 생물학적 신호에 대해 뛰어난 강건성을 보였다.
• 주기적 함수를 다양한 노이즈 수준에서 모델링하기 위해 컨텍스트 의존적 흐름 매개변수를 학습함으로써, 다중 모달 사인 함수의 정확한 재구성 능력을 확보했다.
• 모든 데이터셋에서 표준 GP 및 DKT보다 개선된 NLL 점수를 기록하여, 더 나은 불확실성 정량화와 가능성 분포의 적합도를 입증했다.
• 표준 GP보다 계산 비용이 높지만, 특히 복잡하고 비정규 분포의 환경에서 모델링의 유연성과 성능 사이의 균형을 잘 유지한다.