[论文解读] Anisotropic oracle inequalities in noisy quantization

Sébastien Loustau|arXiv (Cornell University)|May 3, 2013

Sparse and Compressive Sensing Techniques参考文献 21被引用 4

一句话总结

本文在观测数据受独立同分布误差污染的噪声量化条件下，为经验风险最小化建立了具有快速收敛速率的各向异性Oracle不等式。提出了一种基于去卷积的 $k$-means估计器，在标准正则性和边界假设下实现了快速收敛速率，其性能依赖于底层密度的几何结构以及误差分布的特征函数。

ABSTRACT

The effect of errors in variables in quantization is investigated. We prove general exact and non-exact oracle inequalities with fast rates for an empirical minimization based on a noisy sample $Z_i=X_i+ε_i,i=1,\ldots,n$, where $X_i$ are i.i.d. with density $f$ and $ε_i$ are i.i.d. with density $η$. These rates depend on the geometry of the density $f$ and the asymptotic behaviour of the characteristic function of $η$. This general study can be applied to the problem of $k$-means clustering with noisy data. For this purpose, we introduce a deconvolution $k$-means stochastic minimization which reaches fast rates of convergence under standard Pollard's regularity assumptions.

研究动机与目标

• 解决数据受独立同分布测量误差污染时，经验向量量化与聚类的统计挑战。
• 为在存在噪声观测的情况下，基于去卷积的经验风险最小化建立理论框架。
• 在标准Pollard型正则性与边界假设下，推导基于去卷积的 $k$-means估计器的快速收敛速率。
• 刻画误差分布的特征函数以及目标密度几何结构对估计性能的影响。

提出的方法

• 提出一种使用各向异性带宽 $\lambda = (\lambda_1, \dots, \lambda_d)$ 的去卷积核密度估计器 $\hat{f}_\lambda(x)$，用于从被污染的样本 $Z_i = X_i + \epsilon_i$ 中重构真实密度。
• 通过将去卷积密度估计器代入真实风险，提出一种去卷积经验风险最小化（dERM），从而实现在噪声数据下的估计。
• 通过分析 $k$-means损失函数类上的经验过程，推导出各向异性Oracle不等式，同时考虑去卷积引入的偏差。
• 利用Hoeffding不等式与最大不等式控制经验过程的偏离，其方差由误差特征函数的衰减速率与各向异性带宽共同控制。
• 采用链式论证方法，利用一个有界于 $C(\Pi \lambda_i^{-\beta_i} + \|z\|)$ 的包络函数，确保在误差的二阶矩有限条件下满足可积性。
• 通过结合边界假设、去卷积核的各向异性结构以及真实密度的正则性，实现快速收敛速率。

实验结果

研究问题

• RQ1 测量误差如何影响量化与聚类中经验风险最小化器的收敛速率？
• RQ2 当数据受独立同分布噪声污染时，能否在 $k$-means聚类中实现快速收敛速率？
• RQ3 误差分布的各向异性和真实密度的几何结构在估计精度中起到何种作用？
• RQ4 误差分布的特征函数如何影响去卷积估计中偏差与方差的权衡？
• RQ5 在何种条件下，去卷积 $k$-means估计器能达到与无噪声情形相当的快速收敛速率？

主要发现

• 本文在噪声量化条件下，为基于去卷积的经验风险最小化建立了精确与非精确的Oracle不等式，并实现了快速收敛速率。
• 收敛速率取决于误差分布的各向异性结构，其通过 $\epsilon_i$ 特征函数的衰减速率体现。
• 通过边界假设与真实密度 $f$ 的正则性，可进一步提升收敛速率，后者控制了估计问题的复杂度。
• 在标准Pollard正则性假设下，即使观测数据含有噪声，去卷积 $k$-means估计器仍能实现快速收敛速率。
• 经验过程的方差被控制在 $C \frac{\Pi \lambda_i^{-\beta_i}}{\sqrt{n}} \sqrt{\delta}$ 范围内，其中 $\beta_i$ 反映了误差特征函数的光滑性。
• 在 $\mathbb{E}\|\epsilon\|^2 < \infty$ 条件下，损失函数类的包络函数属于 $L_2(\tilde{P})$，从而支持链式论证以控制上确 deviation。