[논문 리뷰] Unbiased estimators for the variance of MMD estimators

Danica J. Sutherland, Deka, Namrata|arXiv (Cornell University)|2019. 06. 05.

Statistical Methods and Inference참고 문헌 5인용 수 4

한 줄 요약

이 논문은 U-통계량 이론을 활용하여 이전의 편향된 접근 방식을 보완하면서 최대 평균 차이(MMD) 추정기의 분산에 대한 편향 없는 추정기들을 제시한다. 제곱 MMD와 두 상관된 제곱 MMD 간의 차이에 대해 계산적으로 효율적이고 진정으로 편향이 없는 분산 추정기를 유도하며, 원래 MMD 계산에 추가 비용이 들지 않는다.

ABSTRACT

The maximum mean discrepancy (MMD) is a kernel-based distance between probability distributions useful in many applications (Gretton et al. 2012), bearing a simple estimator with pleasing computational and statistical properties. Being able to efficiently estimate the variance of this estimator is very helpful to various problems in two-sample testing. Towards this end, Bounliphone et al. (2016) used the theory of U-statistics to derive estimators for the variance of an MMD estimator, and differences between two such estimators. Their estimator, however, drops lower-order terms, and is unnecessarily biased. We show in this note - extending and correcting work of Sutherland et al. (2017) - that we can find a truly unbiased estimator for the actual variance of both the squared MMD estimator and the difference of two correlated squared MMD estimators, at essentially no additional computational cost.

연구 동기 및 목표

• 신뢰할 수 있는 두 표본 검정을 위해 필수적인, MMD 추정기의 진정으로 편향 없는 분산 추정기가 부족한 문제를 해결하기 위해.
• 특히 작은 표본 크기에서 문제가 되는, 저차항을 생략한 이전 추정기에서 존재하는 편향을 수정하기 위해.
• U-통계량 이론을 사용하여 [7]의 이전 작업을 확장하고 보완하여, 커널 행렬을 기반으로 한 정확한 분산 표현을 도출하기 위해.
• 원래 MMD 추정기의 O(m²) 복잡도를 유지하면서도 편향이 없고 계산적으로 효율적인 분산 추정기를 제공하기 위해.
• 편향성과 실용적 성능 사이의 상호 상충 관계를 명확히 하며, 실무에서 편향된 추정기가 때로는 더 우수한 성능을 보일 수 있음을 인정하기 위해.

제안 방법

• U-통계량 이론을 사용하여 편향 없는 MMD 추정기의 분산을 도출하며, 이를 RKHS 내의 내적 기대값의 형태로 표현한다.
• 분산 구성 요소를 간결한 연산자 기반 형태로 표현하기 위해 중심화되지 않은 공분산 연산자를 도입한다.
• 커널 행렬을 사용하여 인구 기대값을 표본 대응치로 대체함으로써 분산 구성 요소에 대한 편향 없는 추정기를 구성한다.
• 세 분포를 비교할 때 유용한, 두 MMD 간의 차이에 대한 분산 추정기의 명시적 폐쇄형 표현을 도출한다.
• 대칭 커널 행렬과 벡터화된 연산(예: 1-노름, 프로베니우스 노름, 행렬-벡터 곱 등)을 활용하여 O(m²) 계산 복잡도를 보장한다.
• 이론적 유도를 통해 최종 추정기의 편향 없음을 검증하여, 일관성 있고 체계적 오차가 없는 것을 보장한다.

실험 결과

연구 질문

• RQ1 저차항을 생략하지 않고도 제곱 MMD 추정기의 분산에 대해 진정으로 편향 없는 추정기를 유도할 수 있는가?
• RQ2 세 표본 검정에서 유용한 두 상관된 제곱 MMD 추정기 간의 차이에 대해 편향 없는 분산 추정기를 어떻게 확장할 수 있는가?
• RQ3 기존의 편향된 추정기들과 비교해 볼 때, 편향 없는 분산 추정기의 계산 비용은 얼마나 되는가?
• RQ4 실제로 편향 없는 분산 추정기가 편향된 대안들보다 더 우수한 성능을 보일 수 있는가, 아니면 유한 표본 성능에서 상충 관계가 존재하는가?
• RQ5 표본 크기 m과 n이 다를 경우에도 이론적 프레임워크를 일반화할 수 있는가?

주요 결과

• 논문은 저차항을 생략한 이전의 편향된 근사치를 수정하면서도 제곱 MMD 추정기의 분산에 대해 완전히 편향 없는 추정기를 도출한다.
• 두 MMD 간의 차이에 대한 제안된 추정기는 편향이 없으며, 원래 MMD 추정기와 동일한 O(m²) 시간 복잡도로 계산 가능하다.
• 최종 분산 추정기(식 6)는 프로베니우스 노름, 행렬 곱의 1-노름, 트레이스 유사 항목 등 커널 행렬 및 그 연산을 전적으로 사용하여 표현된다.
• 비록 편향이 없지만, 실험 결과 [2]에서 확인된 바와 같이 실무에서는 더 단순한 편향된 추정기(예: [4]에서 제안한 것)가 더 낮은 분산으로 더 좋은 성능을 보일 수 있음을 논문은 인정한다.
• 이전의 동일하거나 대칭적인 표본을 가정한 연구를 넘어, 표본 크기가 다를 경우에도 방법이 일반화될 수 있다.
• 유도 과정을 통해 편향 없는 추정기가 저차항을 생략함으로써 유도되는 편향을 피함을 확인하였으며, 이는 작은 표본에서 정확도에 크게 영향을 미칠 수 있다.