[论文解读] Mirrorless Mirror Descent: A More Natural Discretization of Riemannian Gradient Flow.

Suriya Gunasekar, Blake Woodworth+1 more|arXiv (Cornell University)|Apr 2, 2020

Geometric Analysis and Curvature Flows参考文献 14被引用 6

一句话总结

本文提出了无镜像镜像下降法（Mirrorless Mirror Descent），这是一种黎曼梯度流的新型离散化方法，其中度量张量由势函数的海森矩阵导出，为自然梯度下降提供了一种更具几何保真度的替代方案。通过将镜像下降视为部分离散化而非完整的前向欧拉步骤，该方法不仅超越了基于海森矩阵的度量，还消除了对对偶空间的依赖，从而可应用于任意黎曼几何。

ABSTRACT

We present a direct (primal only) derivation of Mirror Descent as a partial discretization of gradient flow on a Riemannian manifold where the metric tensor is the Hessian of the Mirror Descent potential function. We argue that this discretization is more faithful to the geometry than Natural Gradient Descent, which is obtained by a full forward Euler discretization. This view helps shed light on the relationship between the methods and allows generalizing Mirror Descent to any Riemannian geometry, even when the metric tensor is not a Hessian, and thus there is no dual.

研究动机与目标

• 将镜像下降重新表述为黎曼梯度流的部分离散化，而非完整的前向欧拉步骤。
• 证明该部分离散化比自然梯度下降更忠实地保持了几何结构。
• 将镜像下降推广至基于海森矩阵之外的度量，使其适用于任意黎曼几何。
• 通过避免对完整海森矩阵度量的假设，消除对对偶空间的依赖。
• 通过黎曼流离散化，为镜像下降与自然梯度下降提供统一的几何解释。

提出的方法

• 通过黎曼梯度流的部分离散化推导镜像下降，其中度量张量为势函数的海森矩阵。
• 采用半隐式欧拉格式对流进行离散化，相比完整前向欧拉格式更准确地保持黎曼结构。
• 直接在原空间中制定更新规则，避免使用对偶变量与对偶几何。
• 证明当度量为海森矩阵时，该方法与标准镜像下降等价；但当度量非海森矩阵时，其更具普适性。
• 将该框架推广至任意黎曼度量，即使不存在势函数或对偶空间未定义的情形。
• 建立流的几何结构与所得到算法收敛性之间的联系。

实验结果

研究问题

• RQ1 与完整前向欧拉法相比，黎曼梯度流的部分离散化在保持几何结构方面表现如何？
• RQ2 镜像下降能否被推导为比自然梯度下降更忠实的黎曼流离散化？
• RQ3 当度量张量不是海森矩阵时，镜像下降的几何解释是什么？
• RQ4 镜像下降框架能否扩展至无对偶空间的黎曼几何？
• RQ5 该新推导对优化算法的收敛性与稳定性有何影响？

主要发现

• 镜像下降自然地表现为黎曼梯度流的部分离散化，相较于自然梯度下降，其几何一致性更优。
• 即使度量张量非海森矩阵，该方法依然有效，从而超越了标准镜像下降的适用范围。
• 对偶空间的缺失并非限制，因为该方法完全在原空间中运行，仅依赖黎曼度量。
• 所提出的框架通过统一的几何流视角，将镜像下降与自然梯度下降融为一体。
• 该方法为将镜像下降推广至任意黎曼流形（包括无标准对偶表示的流形）提供了合理途径。
• 部分离散化比完整前向欧拉法更好地保持了内在几何结构，从而带来更稳定且可解释的优化动力学。