[论文解读] Minimax Estimation of Kernel Mean Embeddings

Ilya Tolstikhin, Bharath K. Sriperumbudur+1 more|arXiv (Cornell University)|Feb 13, 2016

Statistical Methods and Inference参考文献 29被引用 4

一句话总结

本文在再生核希尔伯特空间（RKHS）和$L^2(\mathbb{R}^d)$范数下，建立了核均值嵌入（KME）估计的极小极大最优收敛速率。证明了无论核的光滑性或密度正则性如何，当在$\mathbb{R}^d$上使用连续平移不变核时，经验估计器及其他估计器所达到的$\widetilde{O}(n^{-1/2})$速率对离散测度和具有无限次可微密度的测度均为极小极大最优。

ABSTRACT

In this paper, we study the minimax estimation of the Bochner integral $$μ_k(P):=\int_{\mathcal{X}} k(\cdot,x)\,dP(x),$$ also called as the kernel mean embedding, based on random samples drawn i.i.d.~from $P$, where $k:\mathcal{X} imes\mathcal{X} ightarrow\mathbb{R}$ is a positive definite kernel. Various estimators (including the empirical estimator), $\hatθ_n$ of $μ_k(P)$ are studied in the literature wherein all of them satisfy $\bigl\| \hatθ_n-μ_k(P)\bigr\|_{\mathcal{H}_k}=O_P(n^{-1/2})$ with $\mathcal{H}_k$ being the reproducing kernel Hilbert space induced by $k$. The main contribution of the paper is in showing that the above mentioned rate of $n^{-1/2}$ is minimax in $\|\cdot\|_{\mathcal{H}_k}$ and $\|\cdot\|_{L^2(\mathbb{R}^d)}$-norms over the class of discrete measures and the class of measures that has an infinitely differentiable density, with $k$ being a continuous translation-invariant kernel on $\mathbb{R}^d$. The interesting aspect of this result is that the minimax rate is independent of the smoothness of the kernel and the density of $P$ (if it exists). This result has practical consequences in statistical applications as the mean embedding has been widely employed in non-parametric hypothesis testing, density estimation, causal inference and feature selection, through its relation to energy distance (and distance covariance).

研究动机与目标

• 从独立同分布样本中确定估计概率测度$P$的核均值嵌入（KME）的极小极大收敛速率。
• 建立广泛使用的经验估计器在最坏情形下$ n^{-1/2} $速率是否最优。
• 分析在两类测度上的极小极大风险：离散概率测度和$\mathbb{R}^d$上具有无限次可微密度的测度。
• 研究极小极大速率对核光滑性及$P$密度光滑性的依赖关系。
• 证明在平移不变核下，$n^{-1/2}$速率在$\norm{\bullet}_{\mathbf{H}_k}$与$L^2(\mathbb{R}^d)$范数下均为极小极大最优。

提出的方法

• 通过在均值变化、协方差固定的高斯测度上使用两点检验法推导极小极大下界。
• 应用博赫纳定理和平移不变核的性质，将KME的RKHS范数表示为傅里叶变换的形式。
• 利用核的谱表示，通过谱测度上的积分来界定两个高斯测度的KME在RKHS中的距离。
• 建立RKHS距离$\norm{\theta_0 - \theta_1}_{\mathbf{H}_k}^2$的下界，其以均值的欧氏距离$\norm{\mu_0 - \mu_1}_2^2$为基准。
• 对均值差和方差施加约束，以确保下界非平凡且适用于极小极大分析。
• 比较两种证明策略：径向核的直接分析（定理8）与基于引理3的一般方法（定理E.1），后者适用于所有平移不变核。

实验结果

研究问题

• RQ1 KME估计器的$n^{-1/2}$收敛速率在$\mathbb{R}^d$上离散概率测度类中是否为极小极大最优？
• RQ2 KME估计器的$n^{-1/2}$收敛速率在$\mathbb{R}^d$上具有无限次可微密度的概率测度类中是否为极小极大最优？
• RQ3 极小极大速率是否依赖于核的光滑性或$P$的密度光滑性？
• RQ4 能否利用谱测度和博赫纳定理，为平移不变核推导出一般下界？
• RQ5 样本量和参数选择的假设如何影响极小极大下界的有效性？

主要发现

• 核均值嵌入估计的极小极大收敛速率在$\norm{\bullet}_{\mathbf{H}_k}$与$L^2(\mathbb{R}^d)$范数下均为$n^{-1/2}$。
• $n^{-1/2}$速率在$\mathbb{R}^d$上离散概率测度类中为极小极大最优。
• $n^{-1/2}$速率在$\mathbb{R}^d$上具有无限次可微密度的概率测度类中亦为极小极大最优。
• 极小极大速率与核的光滑性及$P$的密度光滑性无关，这一结果在非参数估计中出人意料。
• 下界通过在高斯测度上使用两点检验法推导，其RKHS距离下界由涉及谱测度的积分界定。
• 该结果在谱测度$\nu$的温和条件下成立，样本量约束依赖于$\nu$的性质，但对高斯核等常见核，该下界仍有效。