[논문 리뷰] Gaussian Process Conditional Density Estimation

Vincent Dutordoir, Hugh Salimbeni외 2명|arXiv (Cornell University)|2018. 10. 30.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 10

한 줄 요약

이 논문은 복잡하고 비정규 분포를 띠는 조건부 밀도를 모델링하기 위해 잠재 변수와 가우시안 프로세스를 사용하는 베이지안 비모수 모델인 가우시안 프로세스 조건부 밀도 추정(GP-CDE)을 제안한다. 입력에 잠재 변수를 추가하고 자연 미분을 사용한 확률적 변분 추론을 적용함으로써, GP-CDE는 데이터가 적은 환경에서도 정확한 밀도 추정을 가능하게 하며, 대규모 데이터셋으로도 스케일링할 수 있으며, 데이터가 부족한 상황에서 CVAE와 같은 파라미터 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Conditional Density Estimation (CDE) models deal with estimating conditional distributions. The conditions imposed on the distribution are the inputs of the model. CDE is a challenging task as there is a fundamental trade-off between model complexity, representational capacity and overfitting. In this work, we propose to extend the model's input with latent variables and use Gaussian processes (GP) to map this augmented input onto samples from the conditional distribution. Our Bayesian approach allows for the modeling of small datasets, but we also provide the machinery for it to be applied to big data using stochastic variational inference. Our approach can be used to model densities even in sparse data regions, and allows for sharing learned structure between conditions. We illustrate the effectiveness and wide-reaching applicability of our model on a variety of real-world problems, such as spatio-temporal density estimation of taxi drop-offs, non-Gaussian noise modeling, and few-shot learning on omniglot images.

연구 동기 및 목표

• 제한된 훈련 데이터가 존재하는 상황에서 복잡하고 비정규적인 조건부 밀도를 추정하는 데 도전하는 데 목적이 있다.
• 데이터가 부족할 경우 CVAE와 같은 파라미터 모델에서 과적합 및 과도한 집중 현상을 완화하는 데 목적이 있다.
• 자연 미분을 사용한 확률적 변분 추론을 통해 조건부 밀도 추정의 확장 가능한 추론을 가능하게 하는 데 목적이 있다.
• GP 기반 디코더를 통해 알려진 입력과 잠재 변수를 조합하여 풍부하고 다중 모드 분포를 모델링하는 데 목적이 있다.
• 공간-시간적 및 고차원 설정에서 다양한 조건 간에 학습된 표현을 체계적으로 공유할 수 있도록 하는 데 목적이 있다.

제안 방법

• 모델은 관측된 입력 x와 함께 함께 모델링되는 잠재 변수 w를 도입함으로써 입력 공간을 확장한다.
• 인식(에코더) 신경망은 x와 y가 주어졌을 때 잠재 변수 w의 사후분포를 암시적으로 근사함으로써 효율적인 추론을 가능하게 한다.
• 선형 변환 행렬 A와 P이 각각 입력 x와 GP 출력 f에 적용되어 차원을 감소시키고 출력 상관관계를 모델링한다.
• 확률적 GP 디코더를 사용하여 증강된 입력 (x, w)에서 관측된 출력 y로 매핑함으로써 불확실성 전파와 사전 분포 설정이 가능해진다.
• 특히 데이터가 적거나 고차원인 환경에서 효과적인 확장 가능한 훈련을 위해 자연 미분을 사용한 확률적 변분 추론이 적용된다.
• 변분 목표는 표준 최적화기(예: Adam)보다 수렴 속도가 빠르고 근사 품질이 뛰어난 자연 미분을 사용하여 최적화된다.

실험 결과

연구 질문

• RQ1 GP 기반 모델은 데이터가 적은 환경에서 비정규적이고 다중 모드인 조건부 밀도를 효과적으로 포착할 수 있는가?
• RQ2 잠재 변수를 포함함으로써 기존 GP 회귀나 CVAE에 비해 밀도 추정 성능가 향상되는가?
• RQ3 자연 미분 최적화는 GP-CDE의 변분 추론 성능을 표준 최적화기보다 얼마나 향상시키는가?
• RQ4 특히 공간-시간적 또는 소수의 샘플 학습 작업에서 잠재 구조를 공유함으로써 모델은 조건 간 일반화가 가능한가?
• RQ5 데이터 부족 상황에서 GP-CDE는 CVAE와 같은 파라미터 모델에 비해 테스트 로그우도와 분산 추정 측면에서 어떻게 성능을 냈는가?

주요 결과

• MNIST에서 클래스당 훈련 이미지가 2장 뿐인 조건에서 GP-CDE는 CVAE보다 유의미하게 높은 테스트 로그우도를 기록했으며, 분산을 고정했을 때 테스트 로그우도는 161.9로 측정되었고, CVAE는 -129.72를 기록했다.
• 모델은 N=2개의 훈련 예제 조건에서도 안정적인 분산 추정을 유지하며, CVAE에서 관찰된 심각한 분산 과소추정 현상(동일 조건에서 테스트 로그우도 -1296.63)을 피한다.
• 자연 미분 최적화는 100개 샘플의 '1' 숫자 데이터셋에서 테스트 로그우도 1.02를 기록하여 분석적 해와 정확히 일치하지만, 표준 Adam 최적화는 -0.13에 그친다.
• 모델은 공간-시간 데이터에서 다중 모드 택시 하차 분포를 성공적으로 포착하여 실제 밀도 추정 작업에서의 유용성을 입증한다.
• GP-CDE는 다양한 조건 간에 잠재 구조를 공유함으로써 잘 일반화되며, 클래스 간 잠재 구조 공유를 통해 Omniglot 이미지에서 효과적인 소수의 샘플 학습을 가능하게 한다.
• 선형 변환 A와 P의 사용은 고차원 입력과 상관관계가 있는 출력을 더 잘 모델링함으로써 복잡한 데이터 도메인에서 성능 향상을 이룬다.