[논문 리뷰] MMD Aggregated Two-Sample Test

Antonin Schrab, Ilmun Kim외 4명|arXiv (Cornell University)|2021. 10. 28.

Radiomics and Machine Learning in Medical Imaging참고 문헌 48인용 수 11

한 줄 요약

이 논문은 최대 평균 차이(MMD) 기반으로, 보유된 데이터나 히وري스틱 선택 없이 다수의 커널 대역폭을 적응적으로 집계하는 새로운 비모수적 두 표본 검정인 MMDAgg를 제안한다. 비점근적 유형 I 오류 통제와 소볼레프 구역에서 최소 최대 최적성까지 반복 로그 항을 제외한 범위에서 성능을 보이며, 시뮬레이션 및 실제 이미지 데이터에서 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

We propose two novel nonparametric two-sample kernel tests based on the Maximum Mean Discrepancy (MMD). First, for a fixed kernel, we construct an MMD test using either permutations or a wild bootstrap, two popular numerical procedures to determine the test threshold. We prove that this test controls the probability of type I error non-asymptotically. Hence, it can be used reliably even in settings with small sample sizes as it remains well-calibrated, which differs from previous MMD tests which only guarantee correct test level asymptotically. When the difference in densities lies in a Sobolev ball, we prove minimax optimality of our MMD test with a specific kernel depending on the smoothness parameter of the Sobolev ball. In practice, this parameter is unknown and, hence, the optimal MMD test with this particular kernel cannot be used. To overcome this issue, we construct an aggregated test, called MMDAgg, which is adaptive to the smoothness parameter. The test power is maximised over the collection of kernels used, without requiring held-out data for kernel selection (which results in a loss of test power), or arbitrary kernel choices such as the median heuristic. We prove that MMDAgg still controls the level non-asymptotically, and achieves the minimax rate over Sobolev balls, up to an iterated logarithmic term. Our guarantees are not restricted to a specific type of kernel, but hold for any product of one-dimensional translation invariant characteristic kernels. We provide a user-friendly parameter-free implementation of MMDAgg using an adaptive collection of bandwidths. We demonstrate that MMDAgg significantly outperforms alternative state-of-the-art MMD-based two-sample tests on synthetic data satisfying the Sobolev smoothness assumption, and that, on real-world image data, MMDAgg closely matches the power of tests leveraging the use of models such as neural networks.

연구 동기 및 목표

• 기존 MMD 기반 두 표본 검정에서 특히 소표본 설정에서 비점근적 유형 I 오류 통제의 부족을 해결하기 위해.
• 모르는 부드러움 파라미터를 고려하여 소볼레프 구역에서의 커널 선택을 위한 보유된 데이터가 필요 없이 적응형으로 작동하는 검정을 개발하기 위해.
• 유한 표본 유효성과 강건성을 유지하면서 소볼레프 구역에서 최소 최대 최적성을 달성하기 위해.
• 자동 대역폭 수집을 사용하여 적응형 MMD 검정의 실용적이고 사용자 우호적인 구현을 제공하기 위해.

제안 방법

• 유한 표본 크기에서 정확한 유형 I 오류 통제를 보장하기 위해 임의화 또는 와일드 부트스트랩을 사용한 비점근적 MMD 검정을 제안한다.
• 알려진 부드러움 파라미터 s에 대해 최적 대역폭을 갖춘 고정 대역폭을 사용하는 단일 MMD 검정을 도입하여 소볼레프 구역에서 최소 최대 최적성을 달성한다.
• 데이터 기반의 대역폭 집합을 사용하여 적응형 가중치를 적용해 검정의 검정력 최대화를 위해 MMD 통계량을 집계함으로써 MMDAgg를 구성한다.
• 편향과 분산을 균형 잡기 위해 ℓ*를 선택하는 이중 스케일링(λ ∈ {2^{-ℓ} : ℓ = 0,…,ℓ*}) 기반의 파라미터 없는 대역폭 수집을 활용한다.
• 귀무가설 하에서 기대 분산의 역수에서 유도된 가중치를 사용하여 MMD 통계량의 가중 조합을 구현함으로써 강건한 집계를 보장한다.
• MMDAgg가 비점근적으로 유형 I 오류 비율을 통제하고, 반복 로그 인자까지 소볼레프 구역에서 최소 최대 분리 속도를 달성함을 증명한다.

실험 결과

연구 질문

• RQ1 MMD 기반 비모수적 두 표본 검정이 유한 표본 크기에서 정확한 유형 I 오류 통제를 유지할 수 있는가?
• RQ2 부드러움 파라미터 s를 알지 못하더라도 소볼레프 구역에서 최소 최대 최적성을 달성하는 적응형 MMD 검정을 구성할 수 있는가?
• RQ3 커널 선택을 위한 보유된 데이터나 중앙값 히وري스틱과 같은 임의의 선택으로 인한 검정력 손실을 피할 수 있는가?
• RQ4 집계된 MMD 검정이 비점근적 수준 통제를 유지하면서 근사 최적의 탐지 비율을 달성할 수 있는가?
• RQ5 실제 이미지 데이터에서 MMDAgg의 성능은 신경망과 같은 모델 기반 방법과 비교해 어떻게 되는가?

주요 결과

• 제안된 MMDAgg 검정은 비점근적으로 유형 I 오류 비율을 통제하여 소표본 크기에서도 신뢰할 수 있는 校정을 보장한다.
• 알려진 부드러움 파라미터 s에 대해 최적 대역폭을 갖춘 단일 MMD 검정은 소볼레프 구역에서 최소 최대 최적성을 달성한다.
• MMDAgg는 소볼레프 구역에서 최소 최대 분리 속도를 (ln ln(m+n))^{-2s/(4s+d)} 요인까지 달성하며, 이는 로그 항을 제외한 최적이다.
• s나 R를 알지 못하더라도 소볼레프 구역의 집합 {S_d^s(R) : s > 0, R > 0}에서 최소 최대 적응형이다.
• 소볼레프 부드러움 하에서의 시뮬레이션 데이터에서 MMDAgg는 기존 MMD 기반 검정보다 유의미하게 높은 검정력을 보인다.
• MNIST 데이터셋에서 MMDAgg는 딥 러닝 기반 두 표본 검정과 유사한 검정력을 달성하여 실제 이미지 이동 탐지에서 뛰어난 경험적 성능을 입증한다.