[论文解读] Improving Optimization for Models With Continuous Symmetry Breaking

Robert Bamler, Stephan Mandt|arXiv (Cornell University)|Mar 8, 2018

Topic Modeling参考文献 30被引用 4

一句话总结

本文提出Goldstone梯度下降（Goldstone-GD），一种优化算法，通过将对称性方向的优化与其余坐标分离，在具有连续对称性自发破缺的模型中加速收敛。通过高效最小化微小的对称性破缺项而不损害主损失，Goldstone-GD在动态矩阵分解和动态词嵌入中实现了数量级更快的收敛速度，并生成更具可解释性、时间一致的表示。

ABSTRACT

Many loss functions in representation learning are invariant under a continuous symmetry transformation. For example, the loss function of word embeddings (Mikolov et al., 2013) remains unchanged if we simultaneously rotate all word and context embedding vectors. We show that representation learning models for time series possess an approximate continuous symmetry that leads to slow convergence of gradient descent. We propose a new optimization algorithm that speeds up convergence using ideas from gauge theory in physics. Our algorithm leads to orders of magnitude faster convergence and to more interpretable representations, as we show for dynamic extensions of matrix factorization and word embedding models. We further present an example application of our proposed algorithm that translates modern words into their historic equivalents.

研究动机与目标

• 识别并解决具有连续对称性的表示学习模型中的收敛缓慢问题，特别是那些存在弱对称性破缺或自发对称性破缺的模型。
• 解决由于对称性方向上曲率较小（Goldstone模式）导致的Hessian矩阵病态问题，该问题阻碍了标准梯度下降方法的收敛。
• 开发一种优化算法，将对称子空间内的动力学与参数空间其余部分分离，以提升收敛速度。
• 在序列模型（如动态词嵌入）中实现对学习表示随时间变化的有意义比较。
• 通过将现代词汇翻译为19世纪对应词汇等应用，展示该方法的实际效用。

提出的方法

• 该方法引入Goldstone-GD，通过对称变换的雅可比矩阵识别对称子空间，并将梯度投影到正交补空间上，以解耦对称与非对称方向。
• 在定期间隔内，Goldstone-GD使用拟牛顿法在对称子空间内对对称性破缺项执行局部最小化，同时保持主损失函数的值不变。
• 该算法采用一种参数化方式，确保对称性破缺项能被高效最小化，而不损害对称性不变的损失，避免了完整Hessian矩阵的计算。
• 它应用了一种重参数化技巧，使优化轨迹与简并解的流形对齐，从而减少沿Goldstone模式的振荡。
• 该方法与标准优化器（如Adam）集成，由于周期性地更新对称子空间，仅带来少量计算开销（实验中为8%）。
• 该方法基于物理学中的规范场论，将对称性破缺项视为规范场，并最小化其在Goldstone模式方向上的贡献。

实验结果

研究问题

• RQ1 连续对称性及其破缺如何影响序列表示模型中梯度下降的收敛行为？
• RQ2 为何标准优化方法在具有自发对称性破缺的模型（如动态矩阵分解和动态词嵌入）中无法高效收敛？
• RQ3 能否设计一种优化算法，显式针对并消除Goldstone模式的影响，以加速收敛？
• RQ4 去除Goldstone模式在多大程度上能提升时间序列模型中学习表示的可解释性和时间一致性？
• RQ5 所提出的方法能否实现实际应用，例如将现代词汇翻译为其历史对应词？

主要发现

• 在动态矩阵分解和动态词嵌入中，Goldstone-GD相比标准梯度下降和对角预条件化，收敛速度至少快一个数量级。
• 在动态词嵌入中，Goldstone-GD成功将现代词汇翻译为合理的19世纪对应词（例如，“wagon”对应“car”），而标准GD无法生成此类可解释结果。
• 在Goldstone-GD下，词嵌入在首尾时间步之间的余弦相似度显著提高：在80%的情况下重叠超过60%，而基线方法则低于60%，甚至出现负重叠。
• 测试集上的预测对数似然略有提升（每点−0.5317 vs. −0.5323），表明尽管正则化项影响微弱，但泛化能力仍有所改善。
• 该算法减少了嵌入空间中虚假旋转的影响，确保语义含义在时间上保持一致，这对时间建模至关重要。
• 由于周期性对称子空间最小化，该方法仅带来8%的运行时开销，使其在大规模模型中具有实际可行性。