[논문 리뷰] Metrizing Weak Convergence with Maximum Mean Discrepancies

Carl-Johann Simon-Gabriel, Alessandro Barp외 2명|arXiv (Cornell University)|2020. 06. 16.

Mathematical Approximation and Integration참고 문헌 32인용 수 19

한 줄 요약

이 논문은 국소적으로 컴act하고 비콤팩트이며 하우스도르프인 공간에서 유계 연속 커널에 대해 최대 평균 차이(MMD)가 확률측도의 약한 수렴을 메트라이제이션하는 조건을 완전히 특성화한다. MMD가 약한 수렴을 메트라이제이션하는 것은 커널이 연속적이며 적분적으로 엄격히 양의 정의적(int-strictly positive definite, int-s.p.d.)일 때에만 성립함을 증명하며, 이는 Simon-Gabriel과 Schölkopf(2018)가 이전에 제시한 특성화를 수정한 것이다.

ABSTRACT

This paper characterizes the maximum mean discrepancies (MMD) that metrize the weak convergence of probability measures for a wide class of kernels. More precisely, we prove that, on a locally compact, non-compact, Hausdorff space, the MMD of a bounded continuous Borel measurable kernel k, whose reproducing kernel Hilbert space (RKHS) functions vanish at infinity, metrizes the weak convergence of probability measures if and only if k is continuous and integrally strictly positive definite (i.s.p.d.) over all signed, finite, regular Borel measures. We also correct a prior result of Simon-Gabriel & Schölkopf (JMLR, 2018, Thm.12) by showing that there exist both bounded continuous i.s.p.d. kernels that do not metrize weak convergence and bounded continuous non-i.s.p.d. kernels that do metrize it.

연구 동기 및 목표

• MMD 메트릭이 확률측도의 약한 수렴을 완전히 포괄하는지에 대한 오랜 동안의 질문을 해결하기 위해.
• Simon-Gabriel과 Schölkopf(2018)가 제시한 잘못된 약한 수렴 메트라이제이션 특성화를 수정하기 위해 — 이들은 int-s.p.d. 커널이 항상 약한 수렴을 메트라이제이션한다고 주장했다.
• 비콤팩트 케이스에서 MMD가 약한 수렴을 메트라이제이션하기 위한 정확한 필요충분조건을 설정하기 위해 — 이는 콤팩트 케이스보다 더 엄격한 조건을 필요로 한다.
• 메트라이제이션의 핵심적인 구조적 요구사항으로서 커널의 RKHS 함수가 무한대에서 0으로 수렴해야 한다는 점(즉, $\mathscr{C}_0$에 속해야 한다)을 입증하기 위해.
• int-s.p.d.가 아니더라도 기능적 행동에 따라 MMD가 약한 수렴을 메트라이제이션할 수 있음을 보여주어 이전의 가정을 도전하기 위해.

제안 방법

• 재생 커널 힐버트 공간(RKHS) 이론과 측도 이론의 기능적 해석 도구를 사용하여 MMD와 약한 수렴 간의 관계를 분석한다.
• 적분적으로 엄격히 양의 정의적(int-s.p.d.) 커널의 개념을 적용한다 — 이는 모든 비영인 유한 부호 측도 $\mu$에 대해 $\int \! \! \! \int k(x,y) \, d\mu(x) \, d\mu(y) > 0$ 를 만족하는 커널을 의미한다.
• RKHS 함수가 무한대에서 0으로 수렴하는 조건 $\mathcal{H}_k \subset \mathscr{C}_0$ 하에서, MMD가 약한 수렴을 메트라이제이션하는 것은 커널이 연속적이며 int-s.p.d.일 때에만 성립함을 증명한다.
• Simon-Gabriel과 Schölkopf(2018)의 주장 — 즉, int-s.p.d. 커널은 항상 약한 수렴을 메트라이제이션한다 — 를 반박하기 위해 반례를 구성한다.
• 커널을 $k_P^a(x,y) = \langle \delta_x - P, \delta_y - P \rangle_k + a$ 로 변환하는 방법을 도입하여, 원래 커널이 int-s.p.d. 이고 $\mathscr{C}_0$ 조건을 만족한다면, $\mathscr{C}_0$에 속하지 않는 커널조차도 약한 수렴을 메트라이제이션할 수 있음을 보여준다.
• MMD가 $\mathcal{P}$ 공간에서 $k_P^a$와 $k$에 대해 동일하므로, 메트라이제이션 성질이 유지됨을 이용한다.

실험 결과

연구 질문

• RQ1 비콤팩트이고 국소적으로 컴팩트하며 하우스도르프인 공간에서 유계 연속 커널에 의해 유도된 MMD가 확률측도의 약한 수렴을 메트라이제이션하는 조건은 무엇인가?
• RQ2 RKHS 함수가 무한대에서 0으로 수렴할 때, 적분적으로 엄격히 양의 정의적(int-s.p.d.)인 조건이 MMD가 약한 수렴을 메트라이제이션하는 데 필수적이고 충분한가?
• RQ3 원래 커널이 연속적이고 int-s.p.d.일 경우, $\mathscr{C}_0$에 속하지 않는 커널조차도 약한 수렴을 메트라이제이션할 수 있는가?
• RQ4 int-s.p.d.이지만 약한 수렴을 메트라이제이션하지 못하는 유계 연속 커널이 존재하는가, 또는 non-int-s.p.d. 커널이 약한 수렴을 메트라이제이션할 수 있는가?
• RQ5 콤팩트 공간과 비콤파크트 공간 간의 MMD 메트라이제이션 성질은 어떻게 다를까?

주요 결과

• 국소적으로 컴팩트하고 비콤팩트이며 하우스도르프인 공간에서 MMD가 약한 수렴을 메트라이제이션하는 것은 커널이 연속적이며 적분적으로 엄격히 양의 정의적(int-s.p.d.)일 때에만 성립하며, 이는 $\mathcal{H}_k \subset \mathscr{C}_0$ 조건이 성립할 때에 한한다.
• Simon-Gabriel과 Schölkopf(2018)의 주장 — 즉, 모든 int-s.p.d. 커널이 약한 수렴을 메트라이제이션한다 — 는 반례를 통해 수정된다: 유계 연속인 int-s.p.d. 커널이 약한 수렴을 메트라이제이션하지 못하는 경우가 존재함을 보여준다.
• 또한, int-s.p.d.가 아니더라도 약한 수렴을 메트라이제이션할 수 있는 유계 연속 커널이 존재함을 보여주어, int-s.p.d. 조건이 메트라이제이션에 필수적이지 않음을 입증한다.
• 새로운 커널 클래스 $k_P^a(x,y) = \langle \delta_x - P, \delta_y - P \rangle_k + a$ 가 도입되며, 이는 $\mathcal{P}$에서의 MMD를 유지하고, $k$가 연속적이며 int-s.p.d.일 경우 $\mathcal{H}_{k_P^a} \not\subset \mathscr{C}_0$ 이더라도 약한 수렴을 메트라이제이션할 수 있음을 보여준다.
• 결과적으로 콤팩트 공간과 비콤파크트 공간 간의 근본적인 비대칭성이 드러나며, 비콤파크트 케이스에서는 특히 $\mathscr{C}_0$ 조건이 더 강한 조건이 된다.
• 이러한 발견들은 스틸 커널과 같은 인기 있는 커널이 철저히 구성되지 않으면 약한 수렴을 메트라이제이션하지 못할 수 있음을 시사하며, MMD 기반 학습에서 커널 선택은 이러한 미세한 기능적 해석적 성질을 고려해야 한다.