[논문 리뷰] Kernel Bayes' rule

Kenji Fukumizu, Le Song외 1명|arXiv (Cornell University)|2010. 09. 29.

Gaussian Processes and Bayesian Inference참고 문헌 35인용 수 4

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)을 사용하여 베이즈의 정리를 비모수적 커널 기반 방법으로 구현하는 방법을 제안한다. 여기서 확률은 경험적 표본의 RKHS 평균으로 표현된다. 이 방법은 명시적 파라미터 모델이 필요 없는 가능도 무관 베이지안 추론과 비모수적 필터링을 가능하게 하며, 이론적 일致성 속도와 베이지안 계산 및 상태공간 모델링 분야에서의 응용 사례가 입증되어 있다.

ABSTRACT

A nonparametric kernel-based method for realizing Bayes' rule is proposed, based on representations of probabilities in reproducing kernel Hilbert spaces. Probabilities are uniquely characterized by the mean of the canonical map to the RKHS. The prior and conditional probabilities are expressed in terms of RKHS functions of an empirical sample: no explicit parametric model is needed for these quantities. The posterior is likewise an RKHS mean of a weighted sample. The estimator for the expectation of a function of the posterior is derived, and rates of consistency are shown. Some representative applications of the kernel Bayes' rule are presented, including Baysian computation without likelihood and filtering with a nonparametric state-space model.

연구 동기 및 목표

• 선형 모형의 형태로 사전분포, 가능도, 사후분포를 명시적으로 모델링하지 않고도 비모수적 방법을 통해 베이즈의 정리를 구현하는 것.
• 경험적 표본을 통해 재생 커널 힐버트 공간(RKHS)의 원소로 확률 측도를 표현하는 것.
• 가능도가 계산이 불가능하거나 알려져 있지 않은 복잡한 모델, 예를 들어 시뮬레이션 기반 추론에서의 베이지안 추론을 가능하게 하는 것.
• 함수에 대한 사후 함수의 기대값에 대해 커널 베이즈의 정리 추정기의 이론적 일치성 속도를 제공하는 것.
• 가능도 무관 베이지안 계산과 비모수적 상태공간 필터링 분야에서의 실용적 응용을 보여주는 것.

제안 방법

• 표준 특징 사상(canonical feature map)을 통해 경험적 표본을 이용해 사전분포와 조건부 확률을 RKHS 원소로 표현하는 것.
• 커널화된 가능도 비율에서 유도된 가중치를 사용해 사후분포를 가중치가 부여된 경험적 표본의 RKHS 평균으로 표현하는 것.
• 모든 확률적 양을 파라미터 형태를 가정하지 않고 비모수적으로 표현하기 위해 커널 평균 임베딩을 사용하는 것.
• 대표자 정리(representer theorem)를 활용해 가중치가 부여된 RKHS 평균을 사용해 함수의 사후 기대값에 대한 추정기 추론하는 것.
• 약한 정규성 조건 하에서 추정기의 일치성 속도를 확립하여 진짜 사후 기대값으로 수렴함을 보이는 것.
• 명시적인 가능도 계산을 생략하고 가능도 무관 추론에 적용하며, 비모수적 상태공간 모델을 통한 필터링에 응용하는 것.

실험 결과

연구 질문

• RQ1 사전분포, 가능도, 사후분포에 대해 명시적인 파라미터 모델이 없이도 베이즈의 정리를 구현할 수 있는가?
• RQ2 확률 분포는 재생 커널 힐버트 공간(RKHS)과 같은 함수 공간에서 어떻게 비모수적으로 표현하고 다룰 수 있는가?
• RQ3 함수에 대한 기대값에서 커널 기반 사후 추정기의 일치성 속도는 얼마인가?
• RQ4 커널 베이즈의 정리는 가능도가 계산이 어려운 모델에서 효과적인 추론을 가능하게 하는가?
• RQ5 상태공간 모델에서 파라미터 가정 없이 비모수적 필터링에 이 방법을 어떻게 적용할 수 있는가?

주요 결과

• 이 방법은 사전분포, 가능도, 사후분포에 대해 명시적인 파라미터 형태가 필요 없이 비모수적 베이지안 추론을 가능하게 한다.
• 확률은 경험적 표본의 RKHS 평균으로 유일하게 표현되며, 힐버트 공간 프레임워크 내에서 기능적 다룰 수 있다.
• 사후분포는 커널화된 가능도 비율에서 유도된 가중치가 부여된 RKHS 평균으로 추정되며, 명시적인 가능도 평가를 피한다.
• 약한 정규성 조건 하에서 추정기의 일치성 속도가 이론적으로 확보되어 진짜 사후 기대값으로 수렴함을 보였다.
• 가능도 무관 베이지안 계산을 지원하여 가능도가 계산이 어려운 경우나 알려져 있지 않은 경우에도 추론이 가능하다.
• 상태공간 모델에서의 비모수적 필터링에 대한 응용 사례는 이 방법이 복잡한 동적 시스템에서 파라미터 가정 없이도 유용함을 보여준다.