[논문 리뷰] Hypothesis testing using pairwise distances and associated kernels (with Appendix)

Dino Sejdinović, Arthur Gretton외 2명|arXiv (Cornell University)|2012. 05. 02.

Statistical Methods and Inference참고 문헌 24인용 수 7

한 줄 요약

이 논문은 에너지 거리와 통계에서의 거리 공분산이, 음의 유형의 반경계에서 유도된 거리 기반 커널의 새로운 가족을 사용할 때 기계 학습에서의 최대 평균 차이(MMD)와 힐버트-슈미트 독립성 기준(HSIC)과 동치임을 보여주는 통합 프레임워크를 수립한다. 주요 기여는 일반적으로 사용되는 에너지 거리(q=1)가 커널의 매개수 가족의 한 구성원에 불과하며, 더 작은 지수(예: q=1/3 또는 q=1/6)가 고주파수 또는 미세 구조의 분포 차이를 감지하는 데 훨씬 더 강력한 두 샘플 검정 및 독립성 검정을 제공한다는 점이다.

ABSTRACT

We provide a unifying framework linking two classes of statistics used in two-sample and independence testing: on the one hand, the energy distances and distance covariances from the statistics literature; on the other, distances between embeddings of distributions to reproducing kernel Hilbert spaces (RKHS), as established in machine learning. The equivalence holds when energy distances are computed with semimetrics of negative type, in which case a kernel may be defined such that the RKHS distance between distributions corresponds exactly to the energy distance. We determine the class of probability distributions for which kernels induced by semimetrics are characteristic (that is, for which embeddings of the distributions to an RKHS are injective). Finally, we investigate the performance of this family of kernels in two-sample and independence tests: we show in particular that the energy distance most commonly employed in statistics is just one member of a parametric family of kernels, and that other choices from this family can yield more powerful tests.

연구 동기 및 목표

• 에너지 거리 기반 통계와 RKHS 내 분포 임bedding에 기반한 커널 기반 방법 간의 오랜 동안 미해결된 관계를 규명하는 것.
• 반경계의 음의 유형에서 유도된 커널이 특징적(즉, RKHS로의 단사 임베딩)이 되는 확률 분포의 집합을 규명하는 것.
• 일반적으로 사용되는 에너지 거리(q=1)가 모든 설정에서 최적의 두 샘플 검정 또는 독립성 검정을 제공하지 않으며, 커널 가족 내 다른 매개수 선택이 더 강력한 가설 검정을 제공한다는 것을 입증하는 것.

제안 방법

• 음의 유형의 반경계에서 유도된 새로운 이동 비정적 커널 가족인 거리 기반 커널을 정의한다.
• 이러한 커널을 사용할 때 에너지 거리와 MMD 사이의 등가성, 거리 공분산과 HSIC 사이의 등가성을 확립한다.
• 유한한 일阶 모멘트를 가진 모든 확률 분포에 대해 유도된 커널이 특징적임을 증명한다.
• 이러한 커널을 사용해 MMD와 HSIC의 경험적 추정치를 활용해 일致한 두 샘플 검정 및 독립성 검정을 구성한다.
• Székely 등(2007)의 보수적인 상한선에 의존하지 않고, 스펙트럼 및 부트스트랩 기반 검정을 사용해 성능을 평가한다.
• 커널 매개수 q가 다양한 합성 및 실제 데이터 세트에서 검정의 검정력에 미치는 영향을 조사한다.

실험 결과

연구 질문

• RQ1 공통된 커널 프레임워크 하에서 에너지 거리/MMD와 거리 공분산/HSIC 간에 공식적인 등가성이 존재하는가?
• RQ2 어떤 확률 분포가 음의 유형의 반경계에서 유도된 특징적 커널을 가질 수 있는가?
• RQ3 일반적으로 사용되는 에너지 거리(q=1)가 모든 설정에서 두 샘플 검정 또는 독립성 검정에서 가장 강력한 성능을 내는가?
• RQ4 거리 기반 커널 가족 내 다른 매개수 선택이 고주파수 또는 미세 구조의 분포 차이 감지에 있어 성능 향상에 기여하는가?
• RQ5 제안된 커널 기반 검정이 부트스트랩 및 스펙트럼 방법과 비교할 때 검정력과 신뢰성 측면에서 어떻게 성능을 내는가?

주요 결과

• q=1을 사용한 에너지 거리는 특정 거리 기반 커널을 사용한 MMD와 동치이지만, 모든 검정 시나리오에서 최적은 아니다.
• 음의 유형의 반경계에서 유도된 거리 기반 커널은 유한한 일阶 모멘트를 가진 모든 확률 분포에 대해 특징적이다.
• 더 작은 커널 지수(예: q=1/3 또는 q=1/6)는 고주파수 분포 차이, 예를 들어 사인파 변형에서 q=1 및 가우시안 커널보다 훨씬 뛰어난 성능을 보인다.
• 두 샘플 검정에서, q=1/3를 사용한 제안된 커널 가족은 고주파수에서도 심지어 q=1 및 가우시안 커널이 실패하는 사인파 변형에 대해 거의 오차 없는 성능을 달성한다.
• 독립성 검정에서는 q=1/6를 사용한 커널이 가우시안 커널과 표준 거리 공분산(q=1)을 모두 능가하며, 특히 작은 각도에서의 회전이 있는 ICA 벤치마크 데이터에서 뛰어난 성능을 보인다.
• 스펙트럼 검정과 부트스트랩 기반 검정은 서로 구별할 수 없을 정도로 유사한 성능을 보이며, 이는 모두 이차 형식 검정보다 뛰어나다. 이차 형식 검정은 동일한 설정에서 귀무가설을 기각하지 못한다.