[논문 리뷰] Kernel MMD, the Median Heuristic and Distance Correlation in High Dimensions.

Sashank J. Reddi, Aaditya Ramdas외 3명|arXiv (Cornell University)|2014. 06. 09.

Statistical Methods and Inference참고 문헌 12인용 수 6

한 줄 요약

이 논문은 고차원 설정에서 최대 평균 차이(MMD)와 거리 상관관계(dCor)의 성능을 조사하며, 두 방법 모두 차원 수가 증가함에 따라 다항식적으로 감소하는 검정력(power)을 보임을 보여준다. 또한 커널 대역폭 선택을 위한 중앙값 히ュ리스틱(median heuristic)을 분석하여, 이로 인해 MMD의 감쇠가 다항식적이거나 심지어 지수적일 수 있음을 밝혀내며, 고차원에 대한 강건성에 대한 주장에 도전한다.

ABSTRACT

This paper is about two related methods for two sample testing and independence testing which have emerged over the last decade: Maximum Mean Discrepancy (MMD) for the former problem and Distance Correlation (dCor) for the latter. Both these methods have been suggested for high-dimensional problems, and sometimes claimed to be unaffected by increasing dimensionality of the samples. We will show theoretically and practically that the power of both methods (for different reasons) does actually decrease polynomially with dimension. We also analyze the median heuristic, which is a method for choosing tuning parameters of translation invariant kernels. We show that different bandwidth choices could result in the MMD decaying polynomially or even exponentially in dimension. 1

연구 동기 및 목표

• 고차원 두 표본 검정 및 독립성 검정에서 MMD와 거리 상관관계의 효과성을 평가하기 위해.
• 실제 제약이 있음에도 불구하고 이 방법들이 종종 고차원에 대해 강건하다고 주장되는 이유를 조사하기 위해.
• 이동 불변 커널에서 커널 대역폭 선택에 대한 중앙값 히ュ리스틱의 영향을 분석하기 위해.
• 이론적·실증적으로 MMD와 dCor가 차원이 증가함에 따라 검정력이 다항식적으로 감소함을 보여주기 위해.

제안 방법

• 고차원 분포에서 MMD와 dCor의 검정력 행동에 대한 이론적 분석.
• 특히 중앙값 히ュ리스틱을 통한 대역폭 선택이 MMD 성능에 미치는 영향을 유도하고 검토하기.
• 다양한 차원에서의 MMD 성능을 모델링하기 위해 이동 불변 커널의 사용.
• 증가하는 차원에 걸쳐 MMD와 dCor 검정력에 대한 실증적 평가.
• MMD 감쇠 속도에 대한 영향을 분석하기 위해 중앙값 히ュ리스틱을 포함한 다양한 대역폭 선택 전략 비교.
• 증가하는 차원에서 MMD와 dCor의 渐近적 행동 분석을 통해 검정력이 다항식 감소함을 보여줌.

실험 결과

연구 질문

• RQ1 MMD와 거리 상관관계의 검정력이 차원 수가 증가함에 따라 진정으로 안정적인가?
• RQ2 중앙값 히ュ리스틱은 고차원 설정에서 MMD의 감쇠 속도에 어떻게 영향을 미치는가?
• RQ3 고차원에서 커널 대역폭 선택과 MMD 성능 사이의 이론적 관계는 무엇인가?
• RQ4 MMD와 dCor는 고차원 두 표본 검정 및 독립성 검정에서 높은 통계적 검정력을 유지할 수 있는가?
• RQ5 증가하는 차원에 따라 MMD와 dCor의 검정력 감쇠를 규정하는 정확한 척도 법칙은 무엇인가?

주요 결과

• MMD와 거리 상관관계의 검정력은 차원 수가 증가함에 따라 다항식적으로 감소하며, 이는 차원에 대해 불변임을 주장하는 것과 모순된다.
• 대역폭 선택을 위한 중앙값 히ュ리스틱은 고차원에서 MMD의 감쇠가 다항식적이거나 심지어 지수적일 수 있음을 초래한다.
• 다른 대역폭 선택 전략은 MMD 성능에 상당한 영향을 미치며, 일부는 빠른 검정력 손실을 유도한다.
• 이론적 분석은 MMD 검정력이 차원이 증가함에 따라 감소함을 확인하며, 특히 최적화되지 않은 커널 대역폭을 사용할 경우 더욱 그렇다.
• 실증 결과는 MMD와 dCor가 고차원 설정에서 효과가 떨어지며, 특히 중앙값 히ュ리스틱을 통해 대역폭이 선택된 경우에 더욱 그렇다는 것을 검증한다.
• 이 연구는 MMD와 dCor가 고차원 데이터에 대해 강건하다는 가정을 도전하며, 그 성능이 체계적으로 차원 증가에 따라 열화됨을 보여준다.