[논문 리뷰] Hilbert space embeddings and metrics on probability measures

Bharath K. Sriperumbudur, Arthur Gretton외 3명|arXiv (Cornell University)|2009. 07. 30.

Topological and Geometric Data Analysis참고 문헌 45인용 수 195

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)을 이용한 확률 측도의 힐버트 공간 임베딩을 제안하며, 커널에 의해 유도된 내적을 바탕으로 분포 간의 가측도수 $γ_k$를 정의한다. 주요 기여는 $γ_k$가 올바른 거리함수가 되는 조건을 규명한 것으로, 이는 커널이 특성 커널(즉, 거리함수를 유도함)임과 동시에 적분적으로 엄격히 양의 정의적임과 동치임을 보여주며, $×^d$에서 유계이고 연속적이며 이동 불변인 커널의 경우, 그 푸리에 변환의 지지집합이 $×^d$ 전체에 걸쳐야 함을 보여준다. 이는 모든 확률 측도가 유일하게 임베딩됨을 보장한다.

ABSTRACT

A Hilbert space embedding for probability measures has recently been proposed, with applications including dimensionality reduction, homogeneity testing, and independence testing. This embedding represents any probability measure as a mean element in a reproducing kernel Hilbert space (RKHS). A pseudometric on the space of probability measures can be defined as the distance between distribution embeddings: we denote this as $γ_k$, indexed by the kernel function $k$ that defines the inner product in the RKHS. We present three theoretical properties of $γ_k$. First, we consider the question of determining the conditions on the kernel $k$ for which $γ_k$ is a metric: such $k$ are denoted {\em characteristic kernels}. Unlike pseudometrics, a metric is zero only when two distributions coincide, thus ensuring the RKHS embedding maps all distributions uniquely (i.e., the embedding is injective). While previously published conditions may apply only in restricted circumstances (e.g. on compact domains), and are difficult to check, our conditions are straightforward and intuitive: bounded continuous strictly positive definite kernels are characteristic. Alternatively, if a bounded continuous kernel is translation-invariant on $\bb{R}^d$, then it is characteristic if and only if the support of its Fourier transform is the entire $\bb{R}^d$. Second, we show that there exist distinct distributions that are arbitrarily close in $γ_k$. Third, to understand the nature of the topology induced by $γ_k$, we relate $γ_k$ to other popular metrics on probability measures, and present conditions on the kernel $k$ under which $γ_k$ metrizes the weak topology.

연구 동기 및 목표

• 커널 기반의 가측도수 $\gamma_k$가 확률 측도에서 올바른 거리함수로 작용할 수 있는 이론적 조건을 확립하기 위해.
• $\gamma_k$가 모든 서로 다른 확률 분포를 구분할 수 있도록 하는 커널 선택의 역할을 명확히 하기 위해.
• $\gamma_k$를 약한 수렴과 기타 고전적 확률 거리함수와 연결하기 위해.
• 이전의 더 엄격하거나 실용성이 떨어지는 기준들보다 더 직관적이고 검증 가능한 특성 커널 조건을 제공하기 위해.

제안 방법

• 각 확률 측도 $\mathbb{P}$를 $\mathbb{P} \mapsto \int k(\cdot, x)\,d\mathbb{P}(x)$라는 사상으로 통해 RKHS의 원소로 표현함으로써, 분포를 힐버트 공간에 임베딩한다.
• 가측도수 $\gamma_k(\mathbb{P}, \mathbb{Q}) = \|\mu_\mathbb{P} - \mu_\mathbb{Q}\|_{\mathcal{H}}$를 정의하며, 여기서 $\mu_\mathbb{P}$는 $\mathbb{P}$의 RKHS 평균 임베딩이다.
• $\gamma_k$가 거리함수임(즉, $\gamma_k(\mathbb{P}, \mathbb{Q}) = 0 \Rightarrow \mathbb{P} = \mathbb{Q}$)이 되는 것은 커널 $k$가 특성 커널일 때에만 성립함을 증명한다.
• 푸리에 분석을 통해 $×^d$에서 유계이고 연속적이며 이동 불변인 커널이 특성 커널임은 그 푸리에 변환의 지지집합이 $×^d$ 전체에 걸쳐야 함과 동치임을 보여준다.
• $\gamma_k$가 분포의 차이를 고주파수 영역에서 발생하는 것에 민감하게 감지함을 설명함으로써, 메트릭이 분포의 차이에 얼마나 민감한지 설명한다.
• 약한 수렴과의 관계를 규명하기 위해, $\gamma_k$가 확률 측도 위의 약한 위상 공간을 메트라이즈하는 조건을 규명한다.

실험 결과

연구 질문

• RQ1 커널 $k$에 어떤 조건이 성립할 경우, 가측도수 $\gamma_k$가 분포가 서로 다를 경우에 해당하는 점들이 RKHS에서 분리되는 올바른 거리함수로 작용하는가?
• RQ2 이동 불변인 $×^d$에서의 커널에 대해, 그 푸리에 변환의 성질을 통해 특성 커널의 성질을 어떻게 기술할 수 있는가?
• RQ3 분포의 차이가 발생하는 주파수 성분과 $\gamma_k$가 이러한 차이에 얼마나 민감한가의 관계는 무엇인가?
• RQ4 $\gamma_k$가 확률 측도의 수렴을 유도하는 위상적 의미는 무엇이며, 언제 약한 수렴을 메트라이즈하는가?

주요 결과

• 커널 $k$가 특성 커널(즉, $\gamma_k$를 통해 거리함수를 유도함)임은 $k$가 적분적으로 엄격히 양의 정의적임과 동치이다.
• 유계이고 연속적이며 이동 불변인 $×^d$에서의 커널은, 그 푸리에 변환의 지지집합이 전체 $×^d$에 걸쳐야 특성 커널이 된다.
• 메트릭 $\gamma_k$는 고주파수 영역에서 발생하는 분포의 차이에 민감하게 반응하므로, 이러한 차이가 RKHS 임베딩에서 더 쉽게 감지됨을 의미한다.
• 커널 $k$가 일정한 정규성 및 지지집합 조건을 만족할 경우, $\gamma_k$가 유도하는 위상은 확률 측도 위에서 약한 수렴을 메트라이즈한다. 특히 커널이 보편적일 경우에 해당한다.
• 임베딩이 단사적(즉, 모든 분포가 유일하게 표현됨)임은 $k$가 특성 커널이어야 함과 동치이다.
• $\gamma_k(\mathbb{P}, \mathbb{Q})$는 표본을 이용해 $\sqrt{mn/(m+n)}$-일致한 추정기로 일致하게 추정될 수 있으며, 이는 균형 검정 및 인과관계 검정과 같은 통계적 응용을 뒷받침한다.