[논문 리뷰] Kernel Distribution Embeddings: Universal Kernels, Characteristic Kernels and Kernel Metrics on Distributions

Carl-Johann Simon-Gabriel, Bernhard Schölkopf|arXiv (Cornell University)|2016. 04. 18.

Image and Signal Denoising Methods참고 문헌 30인용 수 30

한 줄 요약

이 논문은 확률 측도와 일반화된 분포(스바르츠 분포)를 재생 핵 힐버트 공간(RKHS)에 통합된 커널 평균 임베딩(KME)의 이론적 기반을 구축한다. 유니버설, 특성, 엄격히 양의 정부호 커널을 연결하는 통합 프레임워크를 제안하며, 커널이 연속적이고 특성적일 때에만 RKHS 거리가 측도의 약한 수렴을 메트라이제이션함을 증명한다. 이 작업은 유한 측도를 초월해 분포로 KME를 확장하여 쌍대성과 위상적 분석을 통해 단사성과 연속성을 보장한다.

ABSTRACT

Kernel mean embeddings have recently attracted the attention of the machine learning community. They map measures $μ$ from some set $M$ to functions in a reproducing kernel Hilbert space (RKHS) with kernel $k$. The RKHS distance of two mapped measures is a semi-metric $d_k$ over $M$. We study three questions. (I) For a given kernel, what sets $M$ can be embedded? (II) When is the embedding injective over $M$ (in which case $d_k$ is a metric)? (III) How does the $d_k$-induced topology compare to other topologies on $M$? The existing machine learning literature has addressed these questions in cases where $M$ is (a subset of) the finite regular Borel measures. We unify, improve and generalise those results. Our approach naturally leads to continuous and possibly even injective embeddings of (Schwartz-) distributions, i.e., generalised measures, but the reader is free to focus on measures only. In particular, we systemise and extend various (partly known) equivalences between different notions of universal, characteristic and strictly positive definite kernels, and show that on an underlying locally compact Hausdorff space, $d_k$ metrises the weak convergence of probability measures if and only if $k$ is continuous and characteristic.

연구 동기 및 목표

• 측도와 분포에 대한 기존 커널 평균 임베딩(KME) 결과를 통합하고 일반화하기.
• KME가 단사적일 조건과 유도된 커널 거리가 약한 수렴을 메트라이제이션하는 조건을 명확히 하기.
• 측도에서 스바르츠 분포로 KME를 쌍대성과 위상적 추론을 활용해 연속적으로 확장하기.
• 다양한 함수 공간에서 유니버설, 특성, 엄격히 양의 정부호 커널 간의 동치 관계를 체계화하기.
• 강한 쌍대 위상에 의한 분포로의 KME 확장의 연속성과 유일성을 확립하기.

제안 방법

• 함수 공간과 그 쌍대공간 간의 쌍대성 원리를 활용해 KME를 측도에서 분포로 확장하며, 리스 표현 정리를 적용한다.
• 리스-마르코프-카쿠타니 정리를 적용하여 유한 보렐 측도를 C₀(X) 상의 연속 선형 함수공간으로 식별한다.
• RKHS가 C₀(X)에 연속적으로 임베딩되면, 쌍대 임베딩은 분포를 RKHS의 쌍대공간으로 매핑하며, 이는 리스 표현을 통해 RKHS와 등급을 이룬다.
• 공간 M 상에서 임베딩 사상 Φₖ가 M 상에서 단사적일 때를 조건으로 하여 특성 커널의 개념을 도입한다.
• 반단순 공간 이론과 반이터리안 공간 이론을 활용해 선형 함수공간의 가역성과 유계성을 보장하기 위해 반바르크-스타인하우스 정리를 적용한다.
• 커널이 공간 F′(F의 쌍대공간)에 대해 특성적일 때이고, 오직 그 때에만 커널이 F 상에서 유니버설일 때를 증명하며, 유니버설성과 특성적 성질을 연결한다.

실험 결과

연구 질문

• RQ1 어떤 집합 M 에서 커널이 잘 정의된 커널 평균 임베딩을 유도할 수 있는가?
• RQ2 M 상에서 커널 평균 임베딩이 언제 단사적일 수 있으며, 유도된 RKHS 거리가 적절한 메트릭이 되는가?
• RQ3 커널 거리 dk 가 유도하는 위상은 M 상의 약한 수렴과 좁은 수렴 위상과 어떻게 비교되는가?
• RQ4 커널 평균 임베딩은 측도에서 스바르츠 분포로 연속적이고 유일하게 확장될 수 있는가?
• RQ5 국소적으로 컴act한 하우스도르프 공간에서 확률 측도의 약한 수렴을 커널 거리 dk 가 메트라이제이션하는 조건은 무엇인가?

주요 결과

• 커널 평균 임베딩 Φₖ 가 집합 M 상에서 단사적일 때이고, 오직 그 때에만 커널이 M 상에서 특성적일 때이며, 이는 M 상의 함수 공간에서 엄격히 양의 정부호일 때와 동치이다.
• 국소적으로 컴팩트한 하우스도르프 공간에서 커널 거리 dk 는 확률 측도의 좁은 수렴을 메트라이제이션한다. 이는 커널이 연속적이고 특성적일 때에만 성립한다.
• 모든 매끄럽고 정적인 커널이 컴act 지지 유한 측도 상에서 특성적이라면, 더 큰 컴팩트 지지 분포 공간 상에서도 특성적이다.
• 콤팩트 지지 분포로의 KME 확장은 표준 KME의 측도 상에서의 연속 선형 확장으로서 유일하다.
• 함수공간 F 의 쌍대공간이 RKHS 쌍대공간에 연속적으로 임베딩될 때, 오직 커널이 F 상에서 유니버설일 때에만 성립하며, 이는 쌍대성에 의해 유니버설성과 특성적 성질을 연결한다.
• 논문은 Theorem 37 과 40 의 증명에 결함이 있음을 밝히며, 이는 현재 버전에서는 수정되지 않았지만, 정정된 결과는 JMLR 판을 권장한다.