[论文解读] Fast and accurate optimization on the orthogonal manifold without retraction

Pierre Ablin, Gabriel Peyré|arXiv (Cornell University)|Feb 15, 2021

Matrix Theory and Algorithms被引用 4

一句话总结

本文提出了一种名为 landing 的优化算法，这是一种快速且数值稳定的正交流形上函数优化方法，无需使用重投影（retraction）。通过利用势能函数使迭代点向正交性吸引，该方法避免了计算昂贵的矩阵运算（如矩阵指数或开方根），仅依赖矩阵乘法，从而在大规模和深度学习设置中，相比基于重投影的方法，实现了更快的收敛速度和更低的正交化误差。

ABSTRACT

We consider the problem of minimizing a function over the manifold of orthogonal matrices. The majority of algorithms for this problem compute a direction in the tangent space, and then use a retraction to move in that direction while staying on the manifold. Unfortunately, the numerical computation of retractions on the orthogonal manifold always involves some expensive linear algebra operation, such as matrix inversion, exponential or square-root. These operations quickly become expensive as the dimension of the matrices grows. To bypass this limitation, we propose the landing algorithm which does not use retractions. The algorithm is not constrained to stay on the manifold but its evolution is driven by a potential energy which progressively attracts it towards the manifold. One iteration of the landing algorithm only involves matrix multiplications, which makes it cheap compared to its retraction counterparts. We provide an analysis of the convergence of the algorithm, and demonstrate its promises on large-scale and deep learning problems, where it is faster and less prone to numerical errors than retraction-based methods.

研究动机与目标

• 为解决在正交流形上进行黎曼优化时重投影带来的计算瓶颈，尤其是在大规模问题中。
• 开发一种在保持高正交性精度的同时，避免使用矩阵指数或开方根等昂贵线性代数运算的方法。
• 减少由于浮点精度限制导致的基于重投影方法中常见的数值误差累积。
• 为深度学习应用中需要正交权重矩阵的场景，提供一种可行的替代传统平凡化（trivialization）和重投影方法的方案。
• 证明通过势能驱动的动力学进行不可行优化，可在速度和最终正交性方面优于可行方法。

提出的方法

• landing 算法通过一个由势能函数控制的连续流演化迭代点，该势能函数惩罚对正交流形的偏离。
• 更新规则仅涉及矩阵乘法，避免了重投影以及矩阵求逆、指数或开方根等昂贵运算。
• 势能定义为 $ \mathcal{N}(X) = \frac{1}{4}\|XX^\top - I_p\|^2 $，用于度量到正交流形的平方距离。
• 该方法采用黎曼梯度下降框架，但用直接积分动力学向流形逼近的方式替代了重投影步骤。
• 该算法支持动量，并可与 SGD 或 Adam 等标准优化框架结合使用。
• 全局与局部收敛性均被分析，表明迭代点会收敛至流形，并最终收敛至目标函数的局部最小值。

Figure 1: Trajectories of the landing algorithm and of a retraction gradient descent with $p=2$ . The iterates are $2\times 2$ matrices, the $x$ -axis corresponds to coefficient $(1,1)$ of the matrices, and the $y$ -axis to coefficient $(1,2)$ . The retraction method stays on $\mathcal{O}_{p}$ (blac

实验结果

研究问题

• RQ1 是否可以在正交流形上实现无重投影的优化方法，使其收敛速度和精度与基于重投影的方法相当甚至更优？
• RQ2 在每次迭代中避免昂贵的线性代数运算是否能显著提升计算效率，尤其是在大矩阵情况下？
• RQ3 一种在迭代过程中暂时离开流形的不可行方法，是否由于减少了数值误差累积，反而能获得比可行方法更好的最终正交性？
• RQ4 与平凡化方法（如通过矩阵指数参数化权重）相比，landing 算法在训练速度和最终性能方面表现如何？
• RQ5 在何种场景下（如小批量 vs. 大批量），landing 算法能提供最大的计算优势？

主要发现

• 在 MNIST 上训练 LeNet5 和在 CIFAR-10 上训练 ResNet18 时，landing 算法相比基于重投影的方法最快可提升 50% 的速度，尤其在小批量设置下优势更明显。
• 由于在迭代过程中数值误差累积更少，该方法的正交化误差低于基于重投影的方法。
• 在 MNIST 上使用 LeNet5 时，带动量的 landing 算法在速度和最终正交性方面均优于所有基于重投影的方法。
• 使用 Adam 或 RMSProp 的平凡化方法测试误差最低，但由于每一步都需要反向传播矩阵指数，速度慢了一个数量级。
• 随着批量大小增加，landing 方法的计算优势减弱（因反向传播成为主要开销），但其在数值精度方面的优势依然存在。
• 即使在低精度深度学习框架中，landing 方法也能保持高精度，而基于重投影的方法通常会因偏离正交流形而出现漂移。

Figure 2: Time required to compute $500$ retractions $\tilde{\mathcal{R}}(X,A)$ when $A$ and $X$ are of size $p\times p$ , on a GPU.