[论文解读] Geodesic Convexity and Regularized Scatter Estimators

Lutz Duembgen, David E. Tyler|arXiv (Cornell University)|Jul 19, 2016

Morphological variations and asymmetry参考文献 18被引用 10

一句话总结

该论文通过引入测地线凸性和强制性，为高维稀疏数据设置下的多元散射估计建立了严格的黎曼几何框架，确保了正则化M-估计量的存在性与唯一性。论文提出了基于测地线泰勒展开的半牛顿算法，并证明了趋向于单位矩阵或其倍数的惩罚函数可产生测地线凸的正则化估计量，同时采用交叉验证法选择最优调参。

ABSTRACT

As observed by Auderset et al. (2005) and Wiesel (2012), viewing covariance matrices as elements of a Riemannian manifold and using the concept of geodesic convexity provide useful tools for studying M-estimators of multivariate scatter. In this paper, we begin with a mathematically rigorous self-contained overview of Riemannian geometry on the space of symmetric positive definite matrices and of the notion of geodesic convexity. The overview contains both a review as well as new results. In particular, we introduce and utilize first and second order Taylor expansions with respect to geodesic parametrizations. This enables us to give sufficient conditions for a function to be geodesically convex. In addition, we introduce the concept of geodesic coercivity, which is important in establishing the existence of a minimum to a geodesic convex function. We also develop a general partial Newton algorithm for minimizing smooth and strictly geodesically convex functions. We then use these results to generate a fairly complete picture of the existence, uniqueness and computation of regularized M-estimators of scatter defined using additive geodescially convex penalty terms. Various such penalties are demonstrated which shrink an estimator towards the identity matrix or multiples of the identity matrix. Finally, we propose a cross-validation method for choosing the scaling parameter for the penalty function, and illustrate our results using a numerical example.

研究动机与目标

• 解决高维稀疏数据设置下正则化M-估计量散射矩阵缺乏理论保证的问题。
• 为对称正定矩阵流形上的测地线凸性提供严格的数学基础。
• 通过测地线凸性和强制性，建立正则化M-估计量存在性与唯一性的充分条件。
• 开发一种在矩阵流形上最小化光滑严格测地线凸函数的通用半牛顿算法。
• 提出一种基于交叉验证的惩罚缩放参数选择方法，用于正则化散射估计量。

提出的方法

• 使用矩阵对数和指数映射，在对称正定矩阵空间上形式化黎曼几何。
• 引入关于测地线参数化的的一阶与二阶泰勒展开，推导测地线凸性的充分条件。
• 将测地线强制性定义为确保测地线凸函数存在最小值的关键条件。
• 构建一种在矩阵流形上最小化光滑严格测地线凸函数的通用半牛顿算法。
• 通过将似然函数型目标与加法测地线凸惩罚项结合，将该框架应用于正则化M-估计量，其中惩罚项倾向于单位矩阵或其倍数。
• 实施一种交叉验证程序，基于最小化预测误差来选择惩罚缩放参数。

实验结果

研究问题

• RQ1 在何种条件下，正则化M-估计量散射矩阵存在且唯一？
• RQ2 在对称正定矩阵空间上，哪些惩罚函数是测地线凸的，并能促进向单位矩阵收缩？
• RQ3 如何将牛顿型算法适配于在正定矩阵黎曼流形上最小化测地线凸函数？
• RQ4 测地线强制性在确保正则化散射估计量最小值存在性方面起什么作用？
• RQ5 在测地线凸框架下，如何通过交叉验证最优选择惩罚缩放参数？

主要发现

• 测地线凸性和强制性共同保证了正则化M-估计量散射矩阵的最小值存在且唯一。
• 在较弱条件下，趋向于单位矩阵或其倍数的惩罚函数被证明是测地线凸的。
• 所提出的半牛顿算法在局部收敛，并在光滑性和严格测地线凸性条件下表现出超线性收敛。
• 算法的收敛性由一阶与二阶测地线泰勒展开支持，这些展开为函数在最小值附近的性质提供了界。
• 交叉验证被证明是选择惩罚缩放参数的可行方法，数值结果表明其性能稳定。
• 算法更新步长在最小值附近的极限确保了下降方向，这由函数差值的负上界在极限下得到证明。