[论文解读] Kernel Smoothing, Mean Shift, and Their Learning Theory with Directional Data

Yikun Zhang, Yen‐Chi Chen|arXiv (Cornell University)|Oct 23, 2020

Bayesian Methods and Mixture Models参考文献 93被引用 12

一句话总结

该论文将核平滑和均值漂移算法推广至超球面上的方向数据，建立了方向核密度估计器及其导数的收敛速率，并通过在单位球面上的梯度上升证明了方向均值漂移算法的线性收敛性。该研究为球面上的模式估计与聚类提供了理论保障。

ABSTRACT

Directional data consist of observations distributed on a (hyper)sphere, and appear in many applied fields, such as astronomy, ecology, and environmental science. This paper studies both statistical and computational problems of kernel smoothing for directional data. We generalize the classical mean shift algorithm to directional data, which allows us to identify local modes of the directional kernel density estimator (KDE). The statistical convergence rates of the directional KDE and its derivatives are derived, and the problem of mode estimation is examined. We also prove the ascending property of the directional mean shift algorithm and investigate a general problem of gradient ascent on the unit hypersphere. To demonstrate the applicability of the algorithm, we evaluate it as a mode clustering method on both simulated and real-world data sets.

研究动机与目标

• 为非欧几里得设置下方向核密度估计器（KDE）及其导数的理论理解不足提供解决方案。
• 将均值漂移算法推广至方向数据，实现在单位超球面上的高效模式估计。
• 在正则性条件下，建立方向KDE及其梯度的统计收敛速率。
• 证明方向均值漂移算法作为球面上的梯度上升方法的收敛性，并获得线性收敛速率。
• 通过理论与实证验证，展示该算法在方向数据模式聚类中的有效性。

提出的方法

• 通过使用指数映射和在单位球面 $\Omega_q$ 上的黎曼梯度上升，将经典均值漂移算法推广至方向数据。
• 利用光滑性与带宽条件下的 $L_2$-范数与 $L_\infty$-范数界，推导出方向KDE及其梯度的收敛速率。
• 将方向均值漂移建模为在 $q$-维单位球面上的梯度上升过程，利用指数映射更新迭代点。
• 通过压缩映射论证建立算法的线性收敛性，证明 $d(\widehat{\bm{y}}_s, \bm{m}_k) \leq \Upsilon^s \cdot d(\widehat{\bm{y}}_0, \bm{m}_k) + O(h^2) + O_P\left(\sqrt{\frac{|\log h|}{nh^{q+2}}}\right)$，其中 $\Upsilon < 1$。
• 利用三角不等式与球面上的测地距离，界定估计模式与真实模式之间的误差。
• 应用黎曼几何结果，包括指数映射与单射半径，以确保局部收敛性与稳定性。

实验结果

研究问题

• RQ1 在单位球面上，方向核密度估计器及其梯度的收敛速率是什么？
• RQ2 如何在保持收敛保证的前提下将均值漂移算法推广至方向数据？
• RQ3 方向均值漂移算法是否线性收敛至方向KDE的局部模式？
• RQ4 核平滑、模式估计与球面上的梯度上升之间在统计与计算上存在何种关系？
• RQ5 方向均值漂移算法能否在理论上支持下可靠地用于球面数据的模式聚类？

主要发现

• 在适当的光滑性与带宽条件下，方向KDE及其梯度的收敛速率为 $O(h^2) + O_P\left(\sqrt{\frac{|\log h|}{nh^{q+2}}}\right)$。
• 方向均值漂移算法以速率 $\Upsilon = \sqrt{1 - \frac{\eta \lambda_*}{2}} < 1$ 线性收敛至局部模式，确保几何收敛至真实模式。
• 只要初始点位于模式的半径 $r_0$ 内，算法在高概率下可将迭代点保留在真实模式的邻域内。
• 收敛误差被限制在 $O(h^2) + O_P\left(\sqrt{\frac{|\log h|}{nh^{q+2}}}\right)$，该误差随样本量增加或带宽减小而衰减。
• 理论分析证实了方向均值漂移算法的上升性质，确保每一步迭代的密度值单调提升。
• 在模拟与真实数据上的实证评估验证了该算法在球面数据模式探测中识别聚类的有效性。