[논문 리뷰] The Exact Equivalence of Distance and Kernel Methods for Hypothesis Testing

Cencheng Shen, Joshua T Vogelstein|arXiv (Cornell University)|2018. 06. 14.

Gaussian Processes and Bayesian Inference참고 문헌 44인용 수 18

한 줄 요약

이 논문은 거리 상관관계와 힐버트-슈미트 독립성 기준(HSIC) 간의 정확한 등가성을 보장하는 메트릭과 커널 간의 전단사 변환을 수립한다. 이 방법은 유사성 구조를 유지하며 고정점에 의존하지 않으며, 거리 기반 및 커널 기반 추론 방법 간의 원활한 통합을 가능하게 하며, 편향 및 비편향 추정기 모두에서 동일한 통계적 검정력과 p-값을 제공한다.

ABSTRACT

Distance-based tests, also called "energy statistics", are leading methods for two-sample and independence tests from the statistics community. Kernel-based tests, developed from "kernel mean embeddings", are leading methods for two-sample and independence tests from the machine learning community. A fixed-point transformation was previously proposed to connect the distance methods and kernel methods for the population statistics. In this paper, we propose a new bijective transformation between metrics and kernels. It simplifies the fixed-point transformation, inherits similar theoretical properties, allows distance methods to be exactly the same as kernel methods for sample statistics and p-value, and better preserves the data structure upon transformation. Our results further advance the understanding in distance and kernel-based tests, streamline the code base for implementing these tests, and enable a rich literature of distance-based and kernel-based methodologies to directly communicate with each other.

연구 동기 및 목표

• 거리 기반 및 커널 기반 독립성 검정 방법 간의 오랜 격차를 해소하기 위해.
• 표본 통계량과 p-값에서의 등가성을 보장하는 수학적으로 엄밀하며 고정점이 없는 메트릭과 커널 간의 전단사 사상 수립을 위해.
• 거리 상관관계와 HSIC을 하나의 프레임워크로 통합하여 양 분야 간의 방법론 교류를 가능하게 하기 위해.
• 코드베이스를 단순화하고 변환 과정에서 유사성 구조를 유지함으로써 실용적 구현을 향상시키기 위해.
• 스펙트럴 클러스터링 및 다중 척도 그래프 상관관계 응용에서 방법의 유용성을 입증하기 위해.

제안 방법

• 고정점 변환의 특수한 경우이지만 임의의 초기화를 피하는 새로운 메트릭과 커널 간의 전단사 변환을 제안한다.
• 유클리드 거리 행렬을 동치의 커널 행렬로 변환하기 위해 변환을 적용하며, 이는 원래의 유사성 구조를 유지한다.
• 변환된 커널을 사용해 HSIC를 계산함으로써, 편향 및 비편향 형태 모두에서 거리 상관관계와의 등가성을 확보한다.
• 센터링 행렬과 트레이스 기반 공식을 사용해 비편향 거리 공분산과 그 커널 유사체를 계산한다.
• 전단사 사상을 적용해 유도된 메트릭 상의 근접 이웃 구조를 활용한 커널 기반 다중 척도 그래프 상관관계를 가능하게 한다.
• 퍼미ュ테이션 기반 가설 검정과 시뮬레이션 데이터 기반 스펙트럴 클러스터링을 통해 등가성을 검증한다.

실험 결과

연구 질문

• RQ1 유한 표본에서 거리 상관관계와 HSIC가 정확히 동일한 결과를 낼 수 있도록 메트릭과 커널 간의 전단사 변환을 구성할 수 있는가?
• RQ2 제안된 변환은 비선형 설정에서도 원래 데이터의 유사성 구조를 유지하는가?
• RQ3 편향 및 비편향 추정기 모두에서 거리 공분산과 HSIC의 등가성이 유지되는가?
• RQ4 스펙트럴 클러스터링 및 다중 척도 그래프 상관관계와 같은 후행 작업에서 성능 향상이 가능한가?
• RQ5 변환이 이동 불변성과 질서 유지 성질을 갖는가로 실용적 응용에서의 강건성을 보장하는가?

주요 결과

• 제안된 전단사 사상은 편향 및 비편향 추정기 모두에서 거리 상관관계와 HSIC가 동일한 검정 통계량과 p-값을 낼 수 있음을 보장한다.
• 전단사 변환은 데이터의 유사성 구조를 유지하며, 스펙트럴 클러스터링에서 사용된 커널 행렬의 명확한 블록 구조로 이를 입증한다.
• 전단사 커널을 사용한 스펙트럴 클러스터링은 2차원 가우시안 혼합 분포에서 완벽한 클러스터링을 달성하지만, 고정점 기반 커널은 왜곡된 행렬과 잘못된 군집을 유도한다.
• 전단사 사상 덕분에 가능해진 커널 기반 다중 척도 그래프 상관관계는 비선형 의존성 탐지에서 검정력 향상을 이끌어내며, 동시에 제1종 오류 통제를 유지한다.
• 근접 이웃 구조를 유지하는 데서 고정점 변환보다 우수한 성능을 보이며, 이는 국소적 의존성 탐지에 매우 중요하다.
• 실험 결과는 표준 HSIC보다 동일하거나 향상된 검정력을 보이며, 특히 강한 비선형 관계 탐지에서 유의미한 성능 향상을 보였다.