[논문 리뷰] Bayesian Learning of Kernel Embeddings

Seth Flaxman, Dino Sejdinović외 2명|arXiv (Cornell University)|2016. 03. 07.

Gaussian Processes and Bayesian Inference참고 문헌 32인용 수 16

한 줄 요약

이 논문은 가우시안 프로세스 프레임워크 내에서 커널 평균 임베딩을 수식화하는 베이지안 커널 임베딩(BKE) 모델을 제안한다. 이는 폐쇄형 사후 추론과 커널 초모수 학습을 위한 취급 가능한 주변 우도를 가능하게 하며, 원칙적이고 불확실성 인식이 가능한 커널 선택을 제공한다. 특히 교차검증이 적용되지 않는 비지도 설정, 예를 들어 커널 기반의 가설 검정에서, 중위수 히우리스틱과 같은 히우리스틱 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Kernel methods are one of the mainstays of machine learning, but the problem of kernel learning remains challenging, with only a few heuristics and very little theory. This is of particular importance in methods based on estimation of kernel mean embeddings of probability measures. For characteristic kernels, which include most commonly used ones, the kernel mean embedding uniquely determines its probability measure, so it can be used to design a powerful statistical testing framework, which includes nonparametric two-sample and independence tests. In practice, however, the performance of these tests can be very sensitive to the choice of kernel and its lengthscale parameters. To address this central issue, we propose a new probabilistic model for kernel mean embeddings, the Bayesian Kernel Embedding model, combining a Gaussian process prior over the Reproducing Kernel Hilbert Space containing the mean embedding with a conjugate likelihood function, thus yielding a closed form posterior over the mean embedding. The posterior mean of our model is closely related to recently proposed shrinkage estimators for kernel mean embeddings, while the posterior uncertainty is a new, interesting feature with various possible applications. Critically for the purposes of kernel learning, our model gives a simple, closed form marginal pseudolikelihood of the observed data given the kernel hyperparameters. This marginal pseudolikelihood can either be optimized to inform the hyperparameter choice or fully Bayesian inference can be used.

연구 동기 및 목표

• 비지도 학습에서 교차검증이 적용되지 않는 점을 감안할 때, 커널 방법에서의 커널 선택 및 초모수 선택 문제를 오랫동안 해결하지 못한 과제를 해결한다.
• 임베딩에 대한 전체 사후 추론과 불확실성 측정을 가능하게 하는 커널 평균 임베딩을 위한 베이지안 프레임워크를 개발한다.
• 초모수 최적화를 위한 취급 가능한 폐쇄형 주변 우도를 제공하여 중위수 히우리스틱과 같은 히우리스틱에 의존하지 않도록 한다.
• 초모수를 통합함으로써 빈도주의 스타일의 초모수 최적화와 완전한 베이지안 추론을 모두 가능하게 한다.
• 두 샘플 검정 및 인코herence 검정과 같은 비지도 작업에 커널 방법의 적용을 확장하기 위해, 히우리스틱적 커널 튜닝의 원칙적인 대안을 제공한다.

제안 방법

• 커널 평균 임베딩을 포함하는 재생 커널 힐버트 공간(RKHS)에 가우시안 프로세스 사전분포를 설정하고, 공액 우도를 통해 임베딩에 대한 폐쇄형 사후분포를 도출한다.
• 임베딩을 통합하여 주변 우도를 유도함으로써, 관측된 데이터와 커널 초모수만에 의존하는 폐쇄형 표현식을 도출한다.
• 이 주변 우도를 사용하여 초모수 최적화(예: 기울기 상승법) 또는 초모수에 사전분포를 설정하고 공동 사후분포에서 샘플링함으로써 완전한 베이지안 추론을 수행한다.
• 가설 검정에 프레임워크를 적용하기 위해, 두 임베딩의 차이인 워치먼 함수를 모델링하고 그 추정치의 불확실성을 측정한다.
• 기존의 PC 알고리즘과 같은 파ip라인에 BKE 모델을 통합하여, 히우리스틱적 커널 튜닝을 원칙적인 베이지안 학습으로 대체한다.
• 임베딩의 사후 평균을 수축 추정량으로 활용하고, 사후 분산은 추론 및 모델 진단에 유용한 불확실성 추정치를 제공한다.

실험 결과

연구 질문

• RQ1 커널 평균 임베딩에 대한 완전한 베이지안 프레임워크를 구축할 수 있는가? 이는 불확실성 측정과 원칙적인 초모수 학습을 모두 가능하게 하는가?
• RQ2 유도된 주변 우도가 비지도 설정에서 커널 초모수 선택을 위한 신뢰할 수 있고 취급 가능한 목적함수를 제공하는가?
• RQ3 두 샘플 검정 및 인코herence 검정 과제에서, 베이지안 커널 학습은 중위수 히우리스틱과 같은 히우리스틱 방법보다 성능이 뛰어나게 되는가?
• RQ4 특히 소규모 표본 크기에서, 워치먼 함수에 대한 사후 불확실성이 커널 기반 가설 검정의 검출 능력을 향상시키는가?
• RQ5 베이지안 커널 학습은 원칙적인 추론으로 히우리스틱적 커널 튜닝을 대체할 수 있도록, 후행 작업(예: 인과적 발견)에 얼마나 잘 통합될 수 있는가?

주요 결과

• 베이지안 커널 임베딩 모델의 사후 평균은 최근의 수축 추정량과 밀접하게 유사하며, 경험적 평균 임베딩보다 추정 안정성이 향상된다.
• 주변 우도를 통해 교차검증 없이도 커널 초모수를 직접 최적화할 수 있으며, 이는 비지도 설정에서 히우리스틱 튜닝의 원칙적인 대안을 제공한다.
• 두 샘플 검정에서, 모델의 사후 불확실성은 분포 차이의 탐지 가능성에 효과적으로 반영되며, 표본 크기가 증가함에 따라 불확실성 간격이 0을 포함하지 않는다.
• 오존 데이터셋에서, 베이지안 커널 학습은 기온에서 오존 농도로의 인과적 간선을 식별했으며, 대기화학적 이론과 일치한다. 반면 이전의 중위수 히우리스틱을 사용한 방법은 이 연결을 회복하지 못했다.
• 이 방법은 점 추정(주변 우도 최대화를 통한)과 완전한 베이지안 추론(MCMC 또는 변분 방법을 통한)을 모두 지원하며, 후행 분석에서의 불확실성 전파를 가능하게 한다.
• 이 프레임워크는 가설 검정을 넘어서 광범위하게 적용 가능하며, 교차검증이 계산적으로 비용이 많이 드는 대규모 커널 방법에서 커널 튜닝의 즉각적인 대체제가 될 수 있다.