[论文解读] A Grassmann Manifold Handbook: Basic Geometry and Computational Aspects

Thomas Bendokat, Ralf Zimmermann+1 more|arXiv (Cornell University)|Nov 27, 2020

Matrix Theory and Algorithms参考文献 76被引用 28

一句话总结

本手册对格拉斯曼流形几何提供了全面的、基于矩阵的处理，重点在于黎曼运算（如指数映射、对数映射、平行移动和曲率）的计算算法。它提出了一种数值稳定的黎曼对数映射算法，并推导出雅可比场和指数映射导数的新公式，将正交投影算子与商空间视角在格拉斯曼流形上的联系统一，适用于优化和低秩矩阵问题。

ABSTRACT

The Grassmann manifold of linear subspaces is important for the mathematical modelling of a multitude of applications, ranging from problems in machine learning, computer vision and image processing to low-rank matrix optimization problems, dynamic low-rank decompositions and model reduction. With this mostly expository work, we aim to provide a collection of the essential facts and formulae on the geometry of the Grassmann manifold in a fashion that is fit for tackling the aforementioned problems with matrix-based algorithms. Moreover, we expose the Grassmann geometry both from the approach of representing subspaces with orthogonal projectors and when viewed as a quotient space of the orthogonal group, where subspaces are identified as equivalence classes of (orthogonal) bases. This bridges the associated research tracks and allows for an easy transition between these two approaches. Original contributions include a modified algorithm for computing the Riemannian logarithm map on the Grassmannian that is advantageous numerically but also allows for a more elementary, yet more complete description of the cut locus and the conjugate points. We also derive a formula for parallel transport along geodesics in the orthogonal projector perspective, formulae for the derivative of the exponential map, as well as a formula for Jacobi fields vanishing at one point.

研究动机与目标

• 为机器学习、计算机视觉和低秩优化中至关重要的格拉斯曼流形几何提供统一的、面向计算的参考。
• 弥合子空间的两种主要矩阵表示方法之间的鸿沟：通过正交投影算子和正交群的商空间表示。
• 推导并分析关键的黎曼几何运算——指数映射、对数映射、平行移动和曲率——以支持算法实现。
• 提高计算黎曼对数映射时的数值稳定性和几何清晰度，并表征切点集与共轭点。
• 基于投影算子表示，推导出指数映射导数和在某一点消失的雅可比场的新解析公式。

提出的方法

• 在 $\mathrm{Gr}(n,p)$ 中使用正交投影算子表示子空间，并在施蒂费尔流形 $\mathrm{St}(n,p)$ 的正交基等价类中表示，从而实现双重视角。
• 通过投影 $\pi^{\mathrm{SG}}(U) = UU^T$ 从 $\mathrm{St}(n,p)$ 的商结构推导 $\mathrm{Gr}(n,p)$ 上的黎曼度量。
• 提出一种改进的算法用于计算黎曼对数映射，利用水平提升的SVD分解，提高了数值稳定性，并可完整描述切点集。
• 通过水平提升和切向量的SVD分解，推导出沿测地线平行移动的闭式公式。
• 通过基于SVD的矩阵分解微分，计算指数映射的导数和雅可比场。
• 使用矩阵微积分和SVD，推导出曲率、指数映射和对数映射的公式，并提供算法效率的FLOP计数。

实验结果

研究问题

• RQ1 如何在保证数值稳定性和几何完整性的情况下，更高效地计算格拉斯曼流形上的黎曼对数映射？
• RQ2 正交投影算子与商空间表示之间在格拉斯曼流形上存在何种关系？如何在算法中无缝连接这两种表示？
• RQ3 如何利用基于矩阵的方法高效且准确地计算格拉斯曼流形上的平行移动？
• RQ4 指数映射的导数和雅可比场在格拉斯曼流形上的解析表达式是什么？它们如何依赖于切向量的SVD分解？
• RQ5 格拉斯曼流形上核心黎曼运算的计算成本（以FLOPs计）是多少？其随 $n$ 和 $p$ 的变化趋势如何？

主要发现

• 改进的黎曼对数映射算法在数值上更加稳定，并能完整且简洁地描述切点集与共轭点。
• 在正交投影算子框架下，推导出格拉斯曼流形上平行移动的闭式公式，利用水平提升和切向量的SVD分解。
• 通过SVD微分方法推导出指数映射的导数，使得在优化算法中可高效计算。
• 推导出在某一点消失的雅可比场的公式，为分析格拉斯曼流形上的测地线偏离和曲率提供了关键工具。
• 给出了核心运算的FLOP计数：黎曼指数映射（约 $6np^2 + 6p^3 + p$），黎曼对数映射（约 $8np^2 + 2np + p^3 + p^2 + 2p$），平行移动（约 $5np^2 + 4np + p^2 + 4p$），假设 $n \gg p$。
• 格拉斯曼流形的截面曲率为 $K_P(\Delta_1, \Delta_2) = 4 \frac{\operatorname{tr}(\Delta_1^2 \Delta_2^2) - \operatorname{tr}((\Delta_1 \Delta_2)^2)}{\operatorname{tr}(\Delta_1^2)\operatorname{tr}(\Delta_2^2) - (\operatorname{tr}(\Delta_1 \Delta_2))^2}$，对于对称切向量有界且定义良好。