[论文解读] Global Optimality in Tensor Factorization, Deep Learning, and Beyond

Benjamin D. Haeffele, Renè Vidal|arXiv (Cornell University)|Jun 24, 2015

Tensor decomposition and applications参考文献 20被引用 105

一句话总结

本文提出一个通用框架，通过利用凸松弛原理来分析非凸低秩分解问题（如张量分解和深度学习）。证明了在因子规模足够大的情况下，任意局部最小值均为全局最优解，且局部下降算法可从任意初始化收敛至全局最小值。

ABSTRACT

Techniques involving factorization are found in a wide range of applications and have enjoyed significant empirical success in many fields. However, common to a vast majority of these problems is the significant disadvantage that the associated optimization problems are typically non-convex due to a multilinear form or other convexity destroying transformation. Here we build on ideas from convex relaxations of matrix factorizations and present a very general framework which allows for the analysis of a wide range of non-convex factorization problems - including matrix factorization, tensor factorization, and deep neural network training formulations. We derive sufficient conditions to guarantee that a local minimum of the non-convex optimization problem is a global minimum and show that if the size of the factorized variables is large enough then from any initialization it is possible to find a global minimizer using a purely local descent algorithm. Our framework also provides a partial theoretical justification for the increasingly common use of Rectified Linear Units (ReLUs) in deep neural networks and offers guidance on deep network architectures and regularization strategies to facilitate efficient optimization.

研究动机与目标

• 为解决矩阵与张量分解问题中常见的非凸性挑战，尽管实际应用中表现良好，但其优化常受阻碍。
• 为修正激活函数（如ReLU）及现代深度神经网络架构在优化中的有效性提供理论依据。
• 建立非凸分解问题中局部最小值为全局最优的条件。
• 指导深度网络架构与正则化策略的设计，以通过全局收敛实现高效优化。

提出的方法

• 提出一个适用于因子化模型的通用非凸优化框架，涵盖矩阵、张量及深度神经网络的因子化。
• 利用矩阵因子化中的凸松弛技术，分析因子化空间中的非凸问题。
• 提出一种基于映射齐次性与正则化相结合的条件，以确保全局最优性。
• 通过分析优化景观，证明若因子化张量的某一维片全为零，则所有局部最小值均为全局最优。
• 建立当因子维数足够大时，局部下降算法可从任意可行初始化收敛至全局最小值的结论。
• 将该框架应用于深度神经网络，通过将网络建模为正齐次映射，实现对输出空间的凸分析。

实验结果

研究问题

• RQ1 在何种条件下，非凸分解问题中的局部最小值可保证为全局最小值？
• RQ2 因子化变量的规模如何影响局部优化算法的全局收敛性？
• RQ3 为何基于ReLU的深度网络在优化速度与性能方面通常优于使用Sigmoid或Tanh激活函数的网络？
• RQ4 能否通过凸松弛框架分析现代深度网络的结构，以确保全局最优性？
• RQ5 网络映射的齐次性程度与正则化项之间的平衡在实现全局收敛中起何种作用？

主要发现

• 若因子化张量的某一维片全为零，则该非凸优化问题的所有局部最小值均为全局最优。
• 当因子化变量的规模足够大时，任意局部下降算法均可从任意可行初始化收敛至全局最小值。
• 该框架为ReLU激活函数在深度学习中成功的原因提供了理论依据，因其具有正齐次性，可实现对输出空间的凸分析。
• 研究结果表明，宽度足够（即因子规模足够大）的网络架构更易于通过局部搜索实现全局优化。
• 在保证全局最优性方面，网络映射的齐次性程度与正则化项之间的平衡至关重要。
• 该框架表明，仅通过增加网络宽度，即可在无需显式正则化的情况下，充分保证全局收敛。