[논문 리뷰] Large sample analysis of the median heuristic

Garreau Damien, Wittawat Jitkrittum외 1명|arXiv (Cornell University)|2017. 07. 23.

Liver Disease Diagnosis and Treatment참고 문헌 5인용 수 67

한 줄 요약

요약: The paper proves that the bandwidth chosen by the median heuristic is asymptotically normal in kernel two-sample testing, by deriving a CLT for a class of U-statistics and showing convergence of the empirical distance distribution to a target mixture. It also compares median-based bandwidth to power-maximization empirically.

ABSTRACT

In kernel methods, the median heuristic has been widely used as a way of setting the bandwidth of RBF kernels. While its empirical performances make it a safe choice under many circumstances, there is little theoretical understanding of why this is the case. Our aim in this paper is to advance our understanding of the median heuristic by focusing on the setting of kernel two-sample test. We collect new findings that may be of interest for both theoreticians and practitioners. In theory, we provide a convergence analysis that shows the asymptotic normality of the bandwidth chosen by the median heuristic in the setting of kernel two-sample test. Systematic empirical investigations are also conducted in simple settings, comparing the performances based on the bandwidths chosen by the median heuristic and those by the maximization of test power.

연구 동기 및 목표

• 커널 방법에서 특히 kernel two-sample tests에서 중앙값 휴리스틱이 왜 효과적인지 이해한다.
• 샘플 크기가 커짐에 따라 중앙값 기반 대역폭의 점근적 거동을 특징지힌다.
• 쌍 구성 거리의 기저가 되는 U-statistics 클래스에 대한 중심극한정리를 개발한다.
• 쌍 간 거리의 경험적 중앙값을 목표 혼합 분포의 이론적 중앙값과 연결한다.
• 중앙값 기반 대역폭과 테스트 파워 최대화에 의해 선택된 대역폭 간의 실증적 차이를 제공한다.

제안 방법

• 중앙값 휴리스틱을 ν = sqrt(H_n/2)로 정의한다. 여기서 H_n은 쌍 간 제곱 거리의 경험적 중앙값이다.
• 쌍 간 제곱 거리를 intra-X, intra-Y, inter-XY 거리에 대응하는 세 가지 성분의 혼합으로 모델링하고 가중치는 α^2, (1−α)^2, 그리고 2α(1−α)이다.
• 쌍 간 거리의 경험적 누적 분포 함수가 목표 분포 F로 수렴함을 보이고, 그에 따라 결과적인 U-statistics U_n에 대한 CLT를 수립한다.
• 비동일 분포 삼각 배열 U-statistics에 대한 CLT를 통해 제곱 샘플 중앙값 H_n의 점근적 정규화를 보인다.
• 점근 분산의 공식과 이를 목표 중앙값 m에서의 도함수 F'(m)과의 연결 고리를 제시한다.
• 가우시안 커널 이항 검정에서 중앙값 기반 대역폭과 파워 최대화 대역폭 간의 실험적 비교를 수행한다.

실험 결과

연구 질문

• RQ1 샘플 크기가 커짐에 따라 중앙값 휴리스틱이 목표 분포의 중앙값으로 수렴하는가?
• RQ2 중앙값 기반 대역폭은 점근적으로 정규성을 가지는가? 그렇다면 점근적 분산은 무엇인가?
• RQ3 kernel two-sample tests에서 중앙값 휴리스틱은 파워 최대화에 의해 선택된 대역폭에 비해 어떤 성능을 보이는가?
• RQ4 사잇 구간 간 거리의 intra- 및 inter- 거리 분포가 중앙값 휴리스틱에 어떤 영향을 미치는가?
• RQ5 이론을 다중 변화점이나 비대칭 샘플 분할(alpha가 n에 의존하는 경우)로 확장할 수 있는가?

주요 결과

• 쌍 간 제곱 거리의 경험적 분포가 intra-X, intra-Y 및 inter-XY 거리를 반영하는 목표 혼합 분포로 수렴한다.
• 목표 분포의 중앙값은 존재하며, 도함수 조건이 비영인 경우 경험적 중앙값 H_n은 점근적으로 정규이며 계산 가능한 분산을 가진다.
• 광범위한 비동일 분포 U-statistics 클래스에 대한 중심극한정리가 확립되어 중앙값 경험적 분포 결과를 뒷받침한다.
• 중앙값 기반 대역폭은 특정 시나리오에서 파워-최적화로 선택된 대역폭과 근접하게 일치할 수 있으며, 특히 평균 이동에서는 그렇지만 분산 변화와 같은 다른 경우에는 덜 최적일 수 있다.
• 다양한 검정 통계량 및 대역폭 선택에 대한 근사 Bahadur 경사 분석을 제공하여 대역폭과 검정 효율성의 관계를 연결한다.