[논문 리뷰] Bayesian Deconditional Kernel Mean Embeddings

Kelvin Hsu, Fábio Ramos|arXiv (Cornell University)|2019. 05. 24.

Gaussian Processes and Bayesian Inference인용 수 3

한 줄 요약

이 논문은 관측된 조건부 평균 임베딩에서 기저 함수를 복원하는 역문제를 비모수 베이지안 해법으로 제안한다. 이 방법은 작업 변환된 가우시안 프로세스의 사후 예측 평균으로 해석함으로써, 원칙적인 베이지안 해석, 불확실성 측정, 커널 초모수 학습을 위한 주변 가능도를 제공하며, 가능도 없이 추론과 희소 모델링에의 적용을 가능하게 한다.

ABSTRACT

Conditional kernel mean embeddings form an attractive nonparametric framework for representing conditional means of functions, describing the observation processes for many complex models. However, the recovery of the original underlying function of interest whose conditional mean was observed is a challenging inference task. We formalize deconditional kernel mean embeddings as a solution to this inverse problem, and show that it can be naturally viewed as a nonparametric Bayes' rule. Critically, we introduce the notion of task transformed Gaussian processes and establish deconditional kernel means as their posterior predictive mean. This connection provides Bayesian interpretations and uncertainty estimates for deconditional kernel mean embeddings, explains their regularization hyperparameters, and reveals a marginal likelihood for kernel hyperparameter learning. These revelations further enable practical applications such as likelihood-free inference and learning sparse representations for big data.

연구 동기 및 목표

• 비모수 모델에서 관측된 조건부 평균 임베딩으로부터 기저 함수를 복원하는 역문제를 해결하기 위해.
• 사후 예측 분포의 관점에서 탈조건부 커널 평균 임베딩의 베이지안 해석을 제공하기 위해.
• 주변 가능도를 이용한 불확실성 추정 및 커널 초모수 학습을 위한 원칙적인 프레임워크를 구축하기 위해.
• 빅데이터 환경에서 가능도 없이 추론 및 희소 표현 학습과 같은 실용적 응용을 가능하게 하기 위해.

제안 방법

• 작업 변환된 가우시안 프로세스의 사후 예측 평균으로서 탈조건부 커널 평균 임베딩을 수식화하기 위해.
• 조건부 평균에서 기저 함수로의 역매핑을 모델링하기 위해 작업 변환된 가우시안 프로세스의 개념을 도입하기 위해.
• 탈조건부 임베딩을 베이지안 예측으로 간주함으로써 커널 초모수 학습을 위한 주변 가능도를 유도하기 위해.
• 가우시안 프로세스와의 연결을 활용하여 탈조건부 임베딩 프레임워크에 자연스럽게 불확실성 추정을 통합하기 위해.
• 사후 예측 분포를 활용하여 명시적 가능도 평가 없이 추론을 수행함으로써 가능도 없이 추론을 가능하게 하기 위해.
• 희소 근사 기법을 활용하여 압축된 표현을 학습함으로써 대규모 데이터셋에 대한 확장성을 확보하기 위해.

실험 결과

연구 질문

• RQ1 탈조건부 커널 평균 임베딩은 어떤 방식으로 베이지안 프레임워크 내에서 해석될 수 있는가?
• RQ2 베이지안 관점에서 탈조건부 커널 평균 임베딩의 정규화 초모수는 어떤 역할을 하는가?
• RQ3 이 비모수 설정에서 커널 초모수 학습을 위한 주변 가능도를 도출할 수 있는가?
• RQ4 조건부 평균 임베딩으로부터 기저 함수를 복원할 때 불확실성은 어떻게 측정할 수 있는가?
• RQ5 이 프레임워크는 빅데이터 응용에서 가능도 없이 추론 및 희소 모델링을 어느 정도 지원할 수 있는가?

주요 결과

• 탈조건부 커널 평균 임베딩은 작업 변환된 가우시안 프로세스의 사후 예측 평균과 엄밀히 동치이며, 이는 베이지안 기반을 제공한다.
• 기저 가우시안 프로세스 모델의 예측 분산을 통해 자연스럽게 불확실성 추정이 통합된다.
• 탈조건부 임베딩의 정규화 초모수는 작업 변환된 가우시안 프로세스의 사전분포 초모수로 해석될 수 있다.
• 주변 가능도가 도출되어, 경험 베이즈를 통한 원칙적인 커널 초모수 학습이 가능해진다.
• 명시적 가능도 평가 없이도 사후 예측을 허용함으로써, 가능도 없이 추론을 지원하는 프레임워크가 구축된다.
• 구조적 근사 기법을 활용하여 희소 표현 학습이 가능해져, 대규모 데이터셋에 대한 확장성이 확보된다.