[논문 리뷰] MMD-FUSE: Learning and Combining Kernels for Two-Sample Testing Without Data Splitting

Felix Biggs, Antonin Schrab외 1명|arXiv (Cornell University)|2023. 06. 14.

Statistical Methods and Inference인용 수 4

한 줄 요약

MMD-FUSE는 데이터 분할 없이 테스트의 검정력을 극대화하기 위해 가중 소프트 최대값을 사용해 다수의 커널을 적응적으로 조합하는 새로운 이중표본 검정을 제안한다. 전체 데이터셋에서 비지도, 순열에 의존하지 않는 방식으로 특징 추출기와 커널 가중치를 학습함으로써, 귀무가설과 대립가설 하에서 모두 잘 校정된, 높은 검정력과 지수적 농도 경계를 확보한다.

ABSTRACT

We propose novel statistics which maximise the power of a two-sample test based on the Maximum Mean Discrepancy (MMD), by adapting over the set of kernels used in defining it. For finite sets, this reduces to combining (normalised) MMD values under each of these kernels via a weighted soft maximum. Exponential concentration bounds are proved for our proposed statistics under the null and alternative. We further show how these kernels can be chosen in a data-dependent but permutation-independent way, in a well-calibrated test, avoiding data splitting. This technique applies more broadly to general permutation-based MMD testing, and includes the use of deep kernels with features learnt using unsupervised models such as auto-encoders. We highlight the applicability of our MMD-FUSE test on both synthetic low-dimensional and real-world high-dimensional data, and compare its performance in terms of power against current state-of-the-art kernel tests.

연구 동기 및 목표

• MMD 기반 이중표본 검정에서 커널 선택의 핵심적 제약을 해결함으로써, 검정력에 상당한 영향을 미치는 문제를 해결한다.
• 커널 선택을 위한 데이터 분할이 필요 없도록 하여 전체 데이터셋을 커널 학습과 검정에 모두 활용함으로써 통계적 검정력을 유지한다.
• 특히 딥 또는 학습된 커널을 포함한 다수의 커널을 하나의 적응형 검정통계량으로 융합하는 원칙적인, 잘 校정된 방법을 개발한다.
• 귀무가설과 대립가설 하에서 제안된 검정에 대해 지수적 농도 경계와 같은 이론적 보장을 제공한다.

제안 방법

• 다양한 커널들에 대한 정규화된 MMD 값들의 가중 소프트 최대값을 기반으로 한 새로운 검정통계량 FUSE를 제안하며, 가중치는 변분 추론을 통해 학습한다.
• 전체 데이터셋을 사용하여 비지도, 순열에 의존하지 않는 방식으로 커널 특징(예: 오토인코더 또는 자기지도 모델을 통한)을 선택하는 방법을 도입한다.
• 커널 가중치의 사후분포에 대한 변분 근사법을 활용하여 유한한 커널 집합에서 융합 통계량을 닫힌 형태로 계산할 수 있도록 한다.
• 귀무가설과 대립가설 하에서 FUSE 통계량에 대해 지수적 농도 경계를 도출하여, 제1종 오류와 제2종 오류의 잘 校정된 제어를 보장한다.
• 유한한 커널 집합과 무한한 커널 집합(예: 비지도로 훈련된 딥 커널 포함)에 모두 프레임워크를 적용한다.
• 과적합을 방지하기 위해 사전분포와의 KL 발산 기반 정규화를 도입하여 커널 가중치 최적화 과정에서의 과적합을 억제한다.

실험 결과

연구 질문

• RQ1 데이터를 분할하지 않고 MMD 기반 이중표본 검정에 최적의 커널 특징을 학습할 수 있는가?
• RQ2 다양한 커널 하에서의 MMD 통계량을 하나의 적응형 검정통계량으로 융합할 수 있는가? 이는 검정력을 향상시킬 수 있는가?
• RQ3 데이터 분할 없이도 지수적 농도 및 잘 校정된 제1종 오류 보장을 달성할 수 있는가?
• RQ4 기존의 커널 선택 히وري스틱과 데이터 분할 기반 접근법에 비해 통계적 검정력 측면에서 본 논문의 방법이 뛰어나게 성능을 발휘하는가?
• RQ5 딥 커널과 비지도 특징 추출기(예: 오토인코더, 대비 모델 등)를 적용할 수 있으며, 유효성을 유지할 수 있는가?

주요 결과

• 이론적 농도 경계를 통해 MMD-FUSE 검정은 데이터 분할 없이도 잘 校정된 제1종 오류 제어를 달성한다.
• 귀무가설과 대립가설 하에서 검정통계량의 지수적 농도가 확보되어 강력한 검정력 보장을 가능하게 한다.
• 전체 데이터셋에서 커널 특징과 가중치를 학습함으로써 데이터 분할에 따른 검정력 손실을 방지하며, 특히 소표본 환경에서 유리하다.
• 변분 가중치 기반의 소프트맥스 융합 메커니즘이 고정된 커널 선택 및 히وري스틱 대역폭 선택보다 우수한 적응형 커널 조합을 가능하게 한다.
• 딥 커널과 비지도 특징 추출기(예: 오토인코더, 대비 모델 등)를 지원하여 고차원 데이터(예: 이미지)에 대한 적용 가능성을 넓힌다.
• 실증 결과는 MMD-FUSE가 합성 및 실제 데이터셋에서 최신 기술 대비 높은 검정력을 확보하며, 특히 고차원 환경에서 뛰어난 성능을 발휘함을 보여준다.