[论文解读] Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks

Noam Razin, Asaf Maman+1 more|arXiv (Cornell University)|Jan 27, 2022

Tensor decomposition and applications被引用 4

一句话总结

该论文证明，层次张量分解中的梯度下降——一种与深度卷积神经网络等价的模型——会诱导出对低层次张量秩的隐式正则化，这对应于相关网络中的局部性。理论分析揭示了局部组件中存在类似动量的动力学行为，而实证验证表明，显式地抑制局部性可提升非局部任务上的性能，从而挑战了传统的网络架构设计原则。

ABSTRACT

In the pursuit of explaining implicit regularization in deep learning, prominent focus was given to matrix and tensor factorizations, which correspond to simplified neural networks. It was shown that these models exhibit an implicit tendency towards low matrix and tensor ranks, respectively. Drawing closer to practical deep learning, the current paper theoretically analyzes the implicit regularization in hierarchical tensor factorization, a model equivalent to certain deep convolutional neural networks. Through a dynamical systems lens, we overcome challenges associated with hierarchy, and establish implicit regularization towards low hierarchical tensor rank. This translates to an implicit regularization towards locality for the associated convolutional networks. Inspired by our theory, we design explicit regularization discouraging locality, and demonstrate its ability to improve the performance of modern convolutional networks on non-local tasks, in defiance of conventional wisdom by which architectural changes are needed. Our work highlights the potential of enhancing neural networks via theoretical analysis of their implicit regularization.

研究动机与目标

• 对层次张量分解中的隐式正则化进行理论分析，该模型与深度卷积神经网络等价。
• 理解卷积网络为何在长距离依赖任务上表现不佳，而不仅仅是表达能力受限的问题。
• 证明对低层次张量秩的隐式偏好会强制学习表征具有局部性。
• 设计并验证一种显式正则化方法，以抵消这种隐式偏好，从而提升非局部任务上的性能。

提出的方法

• 采用动力系统方法分析层次张量分解中梯度下降的动力学行为。
• 识别层次结构中的局部组件，并在小学习率和接近零初始化条件下刻画其演化过程。
• 建立局部组件上的类似动量效应，导致偏好低层次张量秩的渐进式学习。
• 将层次张量秩与卷积网络中的局部性联系起来，其中低秩意味着短距离依赖。
• 提出显式正则化方法，通过惩罚层次分解中的高秩组件来抑制局部性。
• 在现代卷积神经网络上实证验证该方法，表明其在非局部任务上可提升性能。

实验结果

研究问题

• RQ1 梯度下降在层次张量分解中诱导出何种隐式归纳偏置？
• RQ2 层次张量秩如何与对应卷积神经网络中的局部性相关联？
• RQ3 能否显式地抵消这种对局部性的隐式偏好，从而提升非局部任务上的性能？
• RQ4 层次分解中局部组件的类似动量动力学是否可解释低秩解的出现？
• RQ5 深度、非线性、层次化模型中隐式正则化的理论机制是什么？

主要发现

• 层次张量分解中的梯度下降由于局部组件的类似动量动力学，会诱导出对低层次张量秩的隐式正则化。
• 低层次张量秩对应于仅建模输入中短距离（局部）依赖的偏好，解释了CNN在长距离任务上表现不佳的原因。
• 显式正则化方法通过抑制局部性，可提升现代卷积神经网络在非局部任务上的性能，从而打破了传统上必须通过架构修改才能改进性能的观念。
• 理论分析确认，该隐式偏置并非源于范数最小化，而是源于由组件幅值动态驱动的渐进式学习。
• 实证结果验证，反局部性正则化可增强在需要长距离推理的任务（如图像生成和语义分割）中的泛化能力。