[논문 리뷰] Minimax Estimation of Kernel Mean Embeddings

Ilya Tolstikhin, Bharath K. Sriperumbudur외 1명|arXiv (Cornell University)|2016. 02. 13.

Statistical Methods and Inference참고 문헌 29인용 수 4

한 줄 요약

이 논문은 실수 축 $\bbR^d$ 위의 연속 이동 불변 핵 함수를 사용할 때, 재생 핵 힐버트 공간 (RKHS) 및 $L^2(\bbR^d)$ 노름에서 커널 평균 임bedding (KME) 추정에 대한 최소최대 최적 수렴 속도를 확립한다. 이는 경험적 추정사와 기타 추정사가 달성하는 $\tilde{O}(n^{-1/2})$ 수렴 속도가, 핵 함수의 부드러움이나 밀도의 정규성과는 무관하게, 이산 측도이든 무한히 미분 가능한 밀도를 가진 측도이든 간에 최소최대 최적임을 증명한다.

ABSTRACT

In this paper, we study the minimax estimation of the Bochner integral $$μ_k(P):=\int_{\mathcal{X}} k(\cdot,x)\,dP(x),$$ also called as the kernel mean embedding, based on random samples drawn i.i.d.~from $P$, where $k:\mathcal{X} imes\mathcal{X} ightarrow\mathbb{R}$ is a positive definite kernel. Various estimators (including the empirical estimator), $\hatθ_n$ of $μ_k(P)$ are studied in the literature wherein all of them satisfy $\bigl\| \hatθ_n-μ_k(P)\bigr\|_{\mathcal{H}_k}=O_P(n^{-1/2})$ with $\mathcal{H}_k$ being the reproducing kernel Hilbert space induced by $k$. The main contribution of the paper is in showing that the above mentioned rate of $n^{-1/2}$ is minimax in $\|\cdot\|_{\mathcal{H}_k}$ and $\|\cdot\|_{L^2(\mathbb{R}^d)}$-norms over the class of discrete measures and the class of measures that has an infinitely differentiable density, with $k$ being a continuous translation-invariant kernel on $\mathbb{R}^d$. The interesting aspect of this result is that the minimax rate is independent of the smoothness of the kernel and the density of $P$ (if it exists). This result has practical consequences in statistical applications as the mean embedding has been widely employed in non-parametric hypothesis testing, density estimation, causal inference and feature selection, through its relation to energy distance (and distance covariance).

연구 동기 및 목표

• 독립 동일분포 표본에서 확률 측도 $P$의 커널 평균 임베딩 (KME) 추정에 대한 최소최대 수렴 속도를 결정하는 것.
• 일반적으로 사용되는 경험적 추정사의 $n^{-1/2}$ 수렴 속도가 최악의 경우 설정에서 최적인지 확인하는 것.
• 두 클래스에 대한 최소최대 위험을 분석하는 것: 이산 확률 측도 및 $\bbR^d$ 위에서 무한히 미분 가능한 밀도를 가진 측도.
• 최소최대 수렴 속도가 핵 함수의 부드러움과 $P$의 밀도 부드러움에 어떻게 의존하는지 조사하는 것.
• 이동 불변 핵 함수 하에서 $\norm{\bullet}_{\bH_k}$ 및 $L^2(\bbR^d)$ 노름 모두에서 $n^{-1/2}$ 수렴 속도가 최소최대 최적임을 증명하는 것.

제안 방법

• 고정된 공분산과 변화하는 평균을 가진 가우시안 측도에 대한 이중점 검정 기반 최소최대 하한을 유도한다.
• 보흐너 정리와 이동 불변 핵 함수의 성질을 적용하여, KME의 RKHS 노름을 푸리에 변환으로 표현한다.
• 핵 함수의 스펙트럼 표현을 이용하여, 두 가우시안 측도의 KME 간의 RKHS 거리를 스펙트럼 측도에 대한 적분을 통해 유계한다.
• 평균 간 유클리드 거리 $\norm{\mu_0 - \mu_1}_2^2$ 를 이용해, RKHS 거리 $\norm{\theta_0 - \theta_1}_{\bH_k}^2$ 의 하한을 확립한다.
• 최소최대 분석에 대해 비어 있지 않고 유효한 하한을 확보하기 위해 평균 차이와 분산에 제약 조건을 도입한다.
• 두 가지 증명 전략을 비교한다: 반경형 핵 함수에 대한 직접 분석 (정리 8) 과 일반적 방법 (레마 3) 을 통한 접근 (정리 E.1), 이는 모든 이동 불변 핵 함수에 적용 가능하다.

실험 결과

연구 질문

• RQ1 KME 추정사의 $n^{-1/2}$ 수렴 속도가 $\bbR^d$ 위의 이산 확률 측도 클래스에서 최소최대 최적인가?
• RQ2 KME 추정사의 $n^{-1/2}$ 수렴 속도가 $\bbR^d$ 위에서 무한히 미분 가능한 밀도를 가진 확률 측도 클래스에서 최소최대 최적인가?
• RQ3 최소최대 수렴 속도가 핵 함수의 부드러움 또는 $P$의 밀도 부드러움에 의존하는가?
• RQ4 스펙트럼 측도와 보흐너 정리를 이용해 이동 불변 핵 함수에 대한 일반적 하한을 유도할 수 있는가?
• RQ5 표본 크기 및 매개변수 선택에 대한 가정이 최소최대 하한의 타당성에 어떻게 영향을 주는가?

주요 결과

• 커널 평균 임베딩 추정에 대한 최소최대 수렴 속도는 $\norm{\bullet}_{\bH_k}$ 및 $L^2(\bbR^d)$ 노름 모두에서 $n^{-1/2}$ 이다.
• 이 $n^{-1/2}$ 수렴 속도는 $\bbR^d$ 위의 이산 확률 측도 클래스에서 최소최대 최적이다.
• $n^{-1/2}$ 수렴 속도는 $\bbR^d$ 위에서 무한히 미분 가능한 밀도를 가진 확률 측도 클래스에서도 최소최대 최적이다.
• 최소최대 수렴 속도는 핵 함수의 부드러움과 $P$의 밀도 부드러움에 영향을 받지 않으며, 이는 비모수 추정에서 일반적인 트레이드오프와는 놀랍게 다름.
• 하한은 스펙트럼 측도를 포함한 적분으로 유도된 KME 간의 RKHS 거리 하한을 포함하는 가우시안 측도에 대한 이중점 검정 기반으로 유도된다.
• 스펙트럼 측도 $\nu$ 에 대한 약한 조건 하에서 결과가 성립하며, 표본 크기 제약 조건은 $\nu$ 의 성질에 따라 달라지지만, 일반적인 핵 함수(예: 가우시안 핵)에 대해서도 하한은 유효하다.