[논문 리뷰] Hypothesis testing using pairwise distances and associated kernels

Dino Sejdinović, Arthur Gretton외 2명|arXiv (Cornell University)|2012. 05. 02.

Statistical Methods and Inference참고 문헌 26인용 수 26

한 줄 요약

이 논문은 음의 유형의 반경계를 갖는 에너지 거리와 커널 기반 방법 간의 통합 프레임워크를 수립하여 이원 검정 및 독립성 검정에서의 관련성을 규명한다. 음의 유형의 반경계를 갖는 에너지 거리가 특정 커널에 의해 유도된 RKHS 거리와 정확히 일치함을 보여주며, 이러한 커널이 특징적임을 보이는 확률 분포의 집합을 규명하고, 일반적으로 사용되는 에너지 거리보다 더 강력한 통계적 검정을 가능하게 하는 동일한 가족 내 다른 커널이 존재함을 입증한다.

ABSTRACT

We provide a unifying framework linking two classes of statistics used in two-sample and independence testing: on the one hand, the energy distances and distance covariances from the statistics literature; on the other, distances between embeddings of distributions to reproducing kernel Hilbert spaces (RKHS), as established in machine learning. The equivalence holds when energy distances are computed with semimetrics of negative type, in which case a kernel may be defined such that the RKHS distance between distributions corresponds exactly to the energy distance. We determine the class of probability distributions for which kernels induced by semimetrics are characteristic (that is, for which embeddings of the distributions to an RKHS are injective). Finally, we investigate the performance of this family of kernels in two-sample and independence tests: we show in particular that the energy distance most commonly employed in statistics is just one member of a parametric family of kernels, and that other choices from this family can yield more powerful tests. Copyright 2012 by the author(s)/owner(s).

연구 동기 및 목표

• 통계에서의 에너지 거리와 기계학습에서의 RKHS 기반 거리 임베딩이라는 두 개의 주요 통계 검정 클래스를 통합하는 것.
• 음의 유형의 반경계를 갖는 에너지 거리가 특정 커널에 의해 유도될 때, 해당 커널을 통해 RKHS 거리와 정확히 일치하는 조건을 설정하는 것.
• 유도된 커널이 특징적임(즉, RKHS로의 단사적 매핑)이 되는 확률 분포의 집합을 규명하는 것.
• 제안된 커널 가족이 이원 검정 및 독립성 검정에서의 경험적 성능을 평가하여 표준 에너지 거리보다 더 강력한 대안을 규명하는 것.

제안 방법

• RKHS 확률 측도 임베딩에 대해 유효한 커널을 유도하는 음의 유형의 반경계 클래스를 정의한다.
• 해당 커널 하에서 분포 간의 RKHS 거리가 대응하는 반경계를 사용한 에너지 거리와 동일함을 보인다.
• 유도된 커널이 특징적임을 보장하는 확률 분포의 집합을 특성화한다. 이는 분포가 RKHS로의 단사적 매핑을 보장한다.
• 에너지 거리 프레임워크에서 유도된, 반경계의 선택에 따라 매개변수화된 커널의 파라미터 가족을 유도한다.
• 유도된 커널을 이원 검정 및 독립성 검정에 적용하여 다양한 매개변수 선택에 따른 검정력 비교를 수행한다.
• 이론적 및 경험적 분석을 통해 커널 가족의 일부가 표준 에너지 거리보다 더 강력한 검정력을 보임을 입증한다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 음의 유형의 반경계를 사용한 에너지 거리가 특정 커널에 의해 유도된 RKHS 거리와 정확히 일치하는가?
• RQ2 음의 유형의 반경계에 의해 유도된 커널이 특징적임을 보이는 확률 분포는 어떤가?
• RQ3 에너지 거리 기반 커널의 동일한 파라미터 가족 내 다른 커널이 표준 에너지 거리보다 더 강력한 이원 검정 및 독립성 검정을 제공할 수 있는가?
• RQ4 이 가족 내 반경계의 선택이 실질적인 검정 성능에 어떤 영향을 미치는가?

주요 결과

• 음의 유형의 반경계를 사용한 에너지 거리는 특정 커널에 의해 유도된 RKHS 거리와 수학적으로 동일하며, 이는 두 통계 검정 프레임워크 간의 통합 이론적 연결을 제공한다.
• 유도된 커널이 특징적임을 보이는 확률 분포의 집합이 완전히 특성화되어 있으며, 이는 서로 다른 분포가 RKHS 내 서로 다른 원소로 매핑됨을 보장한다.
• 통계에서 일반적으로 사용되는 표준 에너지 거리는 음의 유형의 반경계에서 유도된 더 넓은 파라미터 가족의 한 예시에 불과하다.
• 이 커널 가족의 다른 구성원은 기저 분포 특성에 따라 표준 에너지 거리보다 훨씬 더 강력한 이원 검정 및 독립성 검정을 제공할 수 있다.
• 반경계 기반 구조의 파라미터 유연성을 활용하여 통계적 검정을 위한 더 강력한 커널을 체계적으로 선택할 수 있는 프레임워크를 제공한다.