[논문 리뷰] Learning Deep Kernels for Non-Parametric Two-Sample Tests

Feng Liu, Wenkai Xu외 4명|arXiv (Cornell University)|2020. 02. 21.

Machine Learning and Data Classification인용 수 66

한 줄 요약

이 논문은 deep-net를 통해 커널을 학습하여 검정력을 극대화하는 딥-커널 기반의 두 샘플 검정을 제시하며, 고차원 및 복잡한 분포에서 전통적인 커널 방법 및 분류자 기반 검정보다 우수한 성능을 보입니다.

ABSTRACT

We propose a class of kernel-based two-sample tests, which aim to determine whether two sets of samples are drawn from the same distribution. Our tests are constructed from kernels parameterized by deep neural nets, trained to maximize test power. These tests adapt to variations in distribution smoothness and shape over space, and are especially suited to high dimensions and complex data. By contrast, the simpler kernels used in prior kernel testing work are spatially homogeneous, and adaptive only in lengthscale. We explain how this scheme includes popular classifier-based two-sample tests as a special case, but improves on them in general. We provide the first proof of consistency for the proposed adaptation method, which applies both to kernels on deep features and to simpler radial basis kernels or multiple kernel learning. In experiments, we establish the superior performance of our deep kernels in hypothesis testing on benchmark and real-world data. The code of our deep-kernel-based two sample tests is available at https://github.com/fengliu90/DK-for-TST.

연구 동기 및 목표

• 고차원 및 복잡한 구조 데이터를 대상으로 비모수적 두 샘플 검정을 동기에 부여합니다.
• 깊은 특징 학습과 특징에 대한 커널, 그리고 입력에 대한 안정화 항을 결합한 커널을 제안합니다.
• 정규화된 MMD 기반 기준을 최적화하여 검정력을 극대화합니다.
• 커널 적응 절차의 일관성에 대한 이론적 보장을 제공합니다.
• 합성 데이터, 물리학 데이터 및 이미지 데이터셋에서 우수한 성능을 실험적으로 보여줍니다.

제안 방법

• 깊은 특징 맵 φ_ω와 간단한 특징 커널, 그리고 안정화 입력 커널을 결합하는 깊은 커널 k_ω를 정의합니다: k_ω(x,y) = [(1−ε) κ(φ_ω(x), φ_ω(y)) + ε] q(x,y).
• 정규화된 파워 기준 Ŵ_J(ω)를 최대화하여 커널을 최적화합니다: Ŵ_J(ω) = MMD_u^2(S_P,S_Q;k_ω) / σ̂_H1,λ, 여기서 σ̂_H1,λ는 정규화된 분산 추정치입니다.
• Adam을 사용한 미니배치 확률적 최적화를 통해 Ŵ_J를 최대화하도록 φ_ω 및 커널 매개변수 ω를 학습합니다.
• 데이터를 학습용과 테스트용으로 분리하여 데이터 누수를 방지합니다; 학습 데이터에서 커널을 선택하고 고정된 테스트 데이터에서 검정력을 평가합니다.
• 학습된 커널의 p-값과 임계치를 얻기 위한 순열 기반 검정을 제공합니다.
• 깊은 커널이 특성화적(characteristic)임을 증명하고 커널 적응 절차의 일관성 결과를 제시합니다.

실험 결과

연구 질문

• RQ1 깊은 신경망을 통해 학습된 커널이 고정 매개변수의 커널보다 MMD 기반의 두 샘플 검정에서 더 높은 검정력을 제공할 수 있는가?
• RQ2 정규화로 파워 기준을 최적화하면 보지 않은 데이터에 일반화되는 커널을 얻을 수 있는가?
• RQ3 깊은 커널은 복잡하고 고차원적인 분포에서 분류자 기반 두 샘플 검정 및 다른 커널 기반 방법과 어떻게 비교되는가?
• RQ4 이 적응 프레임워크에서 일관성과 최적 커널 선택에 대한 이론적 보장은 무엇인가?

주요 결과

• 학습된 딥 커널(MMD-D)은 벤치마크 및 실제 데이터에서 고정 매개변수의 딥 커널 대안 및 일반 MMD보다 더 높은 실험적 검정력을 달성합니다.
• MMD-D는 단순한 가우스 길이 스케일 최적화(MMD-O) 및 분류자 기반 검정(C2ST-S, C2ST-L)보다 여러 데이터셋에서 특히 더 높은 샘플 규모에서 우수합니다.
• 제안된 Ĵ_λ 기준은 MMD와 분산의 균형을 맞춰 커널 선택을 안내하며, 커널 적응에 대한 일관성 결과를 제시합니다.
• 이 프레임워크는 분류자 기반 두 샘플 검정을 특수한 경우로 포함하지만, 딥 커널은 더 일반적이고 효율적인 표현을 제공합니다.
• Blob, Higgs, MNIST 대 DCGAN 샘플, 고차원 가우시안 혼합 등 다양한 데이터셋에서 MMD-D는 타입 I 오류를 제어하면서 더 우수한 검정력을 보입니다.