[论文解读] Symmetry Breaking in Symmetric Tensor Decomposition

Yossi Arjevani, Joan Bruna+4 more|arXiv (Cornell University)|Mar 10, 2021

Tensor decomposition and applications参考文献 19被引用 4

一句话总结

本文研究对称张量分解中的对称性破缺现象，表明基于梯度的优化方法能够检测在行与列置换作用下具有非平凡各向同性子群的临界点。作者证明，这些对称性破缺的临界点——在Frobenius范数与高斯范数下均被观察到——可通过群论与Hessian谱分析实现对无穷多组临界点（包括虚假极小值与鞍点）的解析表征。

ABSTRACT

In this note, we consider the highly nonconvex optimization problem associated with computing the rank decomposition of symmetric tensors. We formulate the invariance properties of the loss function and show that critical points detected by standard gradient based methods are \emph{symmetry breaking} with respect to the target tensor. The phenomena, seen for different choices of target tensors and norms, make possible the use of recently developed analytic and algebraic tools for studying nonconvex optimization landscapes exhibiting symmetry breaking phenomena of similar nature.

研究动机与目标

• 分析对称张量分解中损失函数在群作用下的不变性性质。
• 研究基于梯度的优化方法在非凸张量分解问题中检测到的临界点的几何结构。
• 确立对称性破缺——以非平凡各向同性子群为特征——在虚假极小值与临界点中系统性发生。
• 将这些现象与非凸优化中的更广泛理论框架相联系，特别是涉及群作用与Hessian谱的理论。
• 为基于对称性方法对无穷多组临界点进行解析表征提供基础。

提出的方法

• 将优化问题形式化为最小化一个秩-k 对称张量与一组秩-1 张量之和之间的张量范数。
• 定义损失函数 $\mathcal{L}_\star(W)$，其相对于张量范数 $\|\cdot\|_\star$，其中 $W \in M(k,d)$ 参数化分解过程。
• 分析 $\mathcal{L}_\star$ 在群 $(S_k \times S_d)_C$ 作用下的不变性性质，即临界点 $C$ 的各向同性群，以识别对称性破缺行为。
• 通过数值实验检测并分类在不同范数（Frobenius、高斯）和目标张量（单位阵、卷积型）下临界点的各向同性子群。
• 利用核导数推导损失函数的Hessian解析表达式，从而实现对临界点的谱分析。
• 借助表示理论与等变分岔理论的结果，研究临界点族的结构与稳定性。

实验结果

研究问题

• RQ1 基于梯度的对称张量分解优化方法是否一致地产生破坏目标张量结构对称性的临界点？
• RQ2 目标张量的结构（如单位阵、循环拉普拉斯矩阵）在决定检测到的临界点的各向同性子群方面起什么作用？
• RQ3 张量分解中的对称性破缺现象是否可系统性地与存在可分析Hessian谱的无穷多组临界点相联系？
• RQ4 不同的张量范数（Frobenius、高斯）如何影响优化景观中临界点的对称性与几何结构？
• RQ5 临界点的各向同性子群在多大程度上反映了目标张量的内在对称性？

主要发现

• 在Frobenius范数下，对称张量分解中的虚假极小值始终表现出较大的各向同性子群，如 $\Delta(S_9 \times S_2 \times S_1)$ 与 $\Delta(S_{10} \times S_1 \times S_1)$，表明存在对称性破缺。
• 在立方高斯范数下，观察到虚假极小值具有 $\Delta(S_6 \times S_2 \times S_1^2)$ 与 $\Delta(S_8 \times S_1^2)$ 等各向同性群，证实了在不同范数下均存在对称性破缺。
• 针对卷积型目标张量（如循环拉普拉斯矩阵）的临界点表现出 $\Delta(\mathbb{Z}_d)$ 形式的各向同性子群，反映出其底层卷积结构，证实了在结构化设置中也存在对称性破缺。
• 虚假极小值处的Hessian谱与全局极小值处的谱在 $O(d^{-1/2})$ 项范围内一致，表明其具有相似的局部稳定性特性。
• 数值实验表明，对称性破缺在多次运行与多种问题配置下均具有鲁棒性，包括奇数阶张量（$n=3,5$）与多种目标张量类型。
• 对称性破缺的存在使得能够应用高级解析工具（如Puiseux级数与表示理论）来表征无穷多组临界点，如后续在[8]中所利用。