[논문 리뷰] On Sparse variational methods and the Kullback-Leibler divergence between stochastic processes

Alexander Matthews, James Hensman외 2명|arXiv (Cornell University)|2015. 04. 27.

Gaussian Processes and Bayesian Inference참고 문헌 13인용 수 4

한 줄 요약

이 논문은 표준 유도 점 방법이 확률 과정 간에 잘 정의된 Kullback-Leibler 발산을 최소화한다는 것을 보여줌으로써 희소 변분 가우시안 프로세스에 대한 엄밀한 측도 이론적 기반을 구축한다. 이는 이전의 작업을 일반화하여 데이터가 아닌 유도 점, 공액이 아닌 우도, 그리고 Cox 과정과 같은 무한차원 모델을 허용하지만, 변분 추론이 타당하기 위해서는 여전히 여유 조건—예를 들어 전체 함수에 대한 결정론적 조건부 조건—이 필요하다는 것을 증명한다.

ABSTRACT

The variational framework for learning inducing variables (Titsias, 2009a) has had a large impact on the Gaussian process literature. The framework may be interpreted as minimizing a rigorously defined Kullback-Leibler divergence between the approximating and posterior processes. To our knowledge this connection has thus far gone unremarked in the literature. In this paper we give a substantial generalization of the literature on this topic. We give a new proof of the result for infinite index sets which allows inducing points that are not data points and likelihoods that depend on all function values. We then discuss augmented index sets and show that, contrary to previous works, marginal consistency of augmentation is not enough to guarantee consistency of variational inference with the original model. We then characterize an extra condition where such a guarantee is obtainable. Finally we show how our framework sheds light on interdomain sparse approximations and sparse approximations for Cox processes.

연구 동기 및 목표

• 가우시안 프로세스에서 널리 사용되고 있지만 엄밀한 확률론적 기초가 부족한 변분 유도 점 프레임워크의 이론적 근거를 명확히 하기 위해.
• 희소 변분 추론의 맥락에서 확률 과정 간의 Kullback-Leibler 발산을 공식적으로 정의함으로써 문헌의 격차를 메우기 위해.
• 모델 증강 시 국소 일致성(마진일치성)이 변분 추론의 타당성을 보장하는 데 충분한지, 특히 근사치를 위해 보조 변수를 도입할 경우를 고려하여 조사하기 위해.
• 비공액 우도와 Cox 과정과 같은 무한차원 모델로 프레임워크를 확장하여, 우도가 모든 함수 값에 의존하는 경우를 다룰 수 있도록 하기 위해.
• 유도 점 위치를 변분 매개변수로 최적화함으로써 과적합을 방지할 수 있도록 원칙적인 유도 절차를 제공하기 위해.

제안 방법

• 표준 희소 변분 추론 목표를 함수 값에 대한 근사 사후 과정과 진짜 사후 과정 간의 적절한 Kullback-Leibler 발산으로 재구성한다.
• Lebesgue 측도에 의존하지 않도록 무한차원 함수 공간에서 KL 발산을 Radon-Nikodym 도함수를 사용하여 정의한다.
• 원래의 Titsias (2009) 프레임워크를 일반화하여, 반드시 데이터 점이 아니어도 되는 유도 점과 관측된 점이 아닌 전체 함수에 의존하는 우도를 다룰 수 있도록 한다.
• 특히 Cox 과정 우도에 대해 KL 발산 표현식에서 기대값과 적분의 순서를 바꾸는 것을 정당화하기 위해 Fubini 정리를 적용한다.
• 확장된 모델에서의 변분 추론이 원래 모델과 동일한 결과를 낳는 조건을 도입한다: 유도 점이 전체 함수에 대한 결정론적 함수일 경우.
• 측도 이론적 기반을 확보함으로써, 도메인 간 희소 근사와 Cox 과정 모델이 이 프레임워크 내에서 일관되게 다룰 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스에서 표준 희소 변분 추론 목표는 확률 과정 간에 잘 정의된 Kullback-Leibler 발산을 최소화하는 것과 동치인가?
• RQ2 유도 점이 데이터 점이 아니고 우도가 관측되지 않은 함수 값에 의존하는 경우, 변분 유도 점 프레임워크가 엄밀하게 정당화될 수 있는가?
• RQ3 확장된 모델의 국소 일치성이 변분 추론이 원래 모델과 동일한 결과를 낳는 데 충분한가?
• RQ4 확장된 모델에서의 변분 추론이 원칙적이며 원래 모델과 일관되게 유지되기 위해 추가로 필요한 조건은 무엇인가?
• RQ5 이 프레임워크는 비공액 우도와 Cox 과정과 같은 점 과정 모델을 다룰 수 있도록 어떻게 확장될 수 있는가?

주요 결과

• 표준 희소 변분 추론 목표는 함수 값에 대한 근사 사후 과정과 진짜 사후 과정 간의 Kullback-Leibler 발산을 엄밀하게 최소화하는 것과 동치이다.
• Radon-Nikodym 도함수와 측도 이론적 기반을 사용함으로써, 비데이터 유도 점과 전체 함수 값에 의존하는 우도(예: Cox 과정에서의 우도)를 포함한 일반화된 프레임워크를 확보할 수 있다.
• 모델 증강의 국소 일치성만으로는 유효한 변분 추론을 보장할 수 없으며, 더 강력한 조건—유도 점이 전체 함수에 대한 결정론적 조건부 조건—이 필요하다.
• 유도 점이 전체 함수에 대한 결정론적 함수일 경우, 변분 목표는 원칙적이게 되고, 유도 점 매개변수는 과적합으로부터 보호된다.
• 측도 이론적 기반을 확보함으로써, 이론은 도메인 간 희소 근사와 Cox 과정을 잘 정의된 KL 발산과 유효한 근하한계(evidence lower bound)를 보장함으로써 정확히 다룰 수 있다.
• 결과는 무한차원 우도를 포함한 복잡한 모델로 희소 변분 방법을 확장할 수 있는 견고한 이론적 기반을 제공하며, 힐버트 공간 이론과 관련된 새로운 연구 방향을 제안한다.