[논문 리뷰] A Kernel Method for the Two-Sample Problem

Arthur Gretton, Karsten Borgwardt외 3명|ArXiv.org|2008. 05. 15.

Data Stream Mining Techniques참고 문헌 47인용 수 249

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)의 단위 볼 안의 함수들에 대한 기대값의 최대 차이를 측정하는 커널 기반의 통계적 검정인 최대 평균 차이(MMD)를 소개한다. 이 방법은 유한 표본 보장을 갖는 일致성 있는 비모수적 검정을 제공하며, 점점 커지는 표본 크기에서의 근사값을 포함한다. 계산 복잡도는 이차시간을 기반으로 하며, 선형시간 근사가 가능하며, 그래프 및 마이크로어레이 데이터를 포함한 고차원 데이터에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a framework for analyzing and comparing distributions, allowing us to design statistical tests to determine if two samples are drawn from different distributions. Our test statistic is the largest difference in expectations over functions in the unit ball of a reproducing kernel Hilbert space (RKHS). We present two tests based on large deviation bounds for the test statistic, while a third is based on the asymptotic distribution of this statistic. The test statistic can be computed in quadratic time, although efficient linear time approximations are available. Several classical metrics on distributions are recovered when the function space used to compute the difference in expectations is allowed to be more general (eg. a Banach space). We apply our two-sample tests to a variety of problems, including attribute matching for databases using the Hungarian marriage method, where they perform strongly. Excellent performance is also obtained when comparing distributions over graphs, for which these are the first such tests.

연구 동기 및 목표

• 두 표본이 서로 다른 확률 분포에서 유래되었는지 판단하기 위한 비모수적 통계적 검정을 개발하는 것.
• 보편적인 재생 커널 힐버트 공간(RKHS)의 함수 클래스를 사용하여, 검정이 일致성 있고 유한 표본 성능 보장을 갖도록 보장하는 것.
• 대규모 데이터를 위한 계산 효율적인 대안, 특히 선형시간 근사를 제공하는 것.
• 생물정보학, 신경 데이터 분석, 데이터베이스 속성 매칭과 같은 실제 문제에 방법을 적용하는 것.
• 함수 클래스가 충분히 풍부할 경우(MMD가 유효한 거리 측도가 되는 경우, 예: 보편 RKHS) MMD 통계량이 확률 분포 간의 유효한 메트릭임을 보여주는 것.

제안 방법

• 보편 RKHS의 단위 볼 안의 함수들에 대한 기대값의 최대 차이로 최대 평균 차이(MMD)를 정의한다.
• 균일 수렴 경계를 사용하여 유한 표본 가설 검정을 두 가지 유도하며, 제1종 오류 제어 보장을 제공한다.
• 귀무가설 하에서 경험적 MMD의 점점 커지는 분포에 기반한 세 번째 점점 커지는 검정을 유도한다.
• 무작위 푸리에 특징 또는 기타 스케칭 기법을 사용하여 MMD의 선형시간 근사를 제안한다.
• 두 분포에서 추출된 표본 간의 쌍별 커널 평가를 포함하는 U-통계량 추정기를 통해 MMD를 계산한다.
• 이론적 성질을 확립: RKHS가 보편적이라면 MMD는 정확히 두 분포가 동일할 때에만 0이 된다.

실험 결과

연구 질문

• RQ1 두 확률 분포 간의 차이를 일관되게 감지할 수 있는 커널 기반의 검정 통계량을 구성할 수 있는가?
• RQ2 어떤 함수 클래스가 MMD가 두 분포가 정확히 동일할 때에만 0이 되도록 보장하는가?
• RQ3 MMD 검정 통계량에 대해 어떤 방식으로 유한 표본 성능 보장을 제공할 수 있는가?
• RQ4 귀무가설 하에서 경험적 MMD의 점점 커지는 분포는 무엇인가?
• RQ5 통계적 검정력 손실 없이 계산 효율성이 뛰어난 선형시간 근사를 유도할 수 있는가?

주요 결과

• 함수 클래스가 보편 RKHS의 단위 볼일 경우 MMD는 확률 분포 간의 유효한 메트릭이 되며, MMD = 0이 되는 것은 정확히 p = q일 때에만 성립한다.
• 균일 수렴 경계에 기반한 제안된 유한 표본 검정은 비점점적 제1종 오류 제어를 제공하지만, 보수적인 검정력이 따른다.
• MMD의 점점 커지는 분포에 기반한 점점 커지는 검정은 작은 표본 크기에서 유한 표본 경계보다 더 높은 검정력을 보인다.
• MMD는 m과 n개의 표본에 대해 O((m+n)²) 시간에 계산할 수 있으며, 대규모 데이터셋에 대해서는 선형시간 근사가 가능하다.
• 헝가리안 결혼 방법을 사용한 속성 매칭에서 강력한 성능을 보이며, 기준 방법보다 뛰어난 성능을 보였다.
• 실험 결과는 고차원 데이터, 특히 이전에 두 표본 검정이 존재하지 않았던 마이크로어레이 데이터 및 그래프 구조 분포에서 뛰어난 성능을 보였다.