[论文解读] Lightlike Neuromanifolds, Occam's Razor and Deep Learning

Ke Sun, Frank Nielsen|arXiv (Cornell University)|May 27, 2019

Neural Networks and Applications参考文献 51被引用 8

一句话总结

本文通过将神经网络的参数空间建模为奇异半黎曼流形，并应用信息几何推导出一种最小描述长度（MDL）准则，解决了深度学习泛化悖论，其中费雪信息矩阵的谱降低了模型复杂度。本文提出了一种新颖的先验分布，介于杰弗里斯先验与高斯先验之间，使高维权重空间中具备类似奥卡姆剃刀的归纳偏置。

ABSTRACT

How do deep neural networks benefit from a very high dimensional parameter space? Their high complexity vs stunning generalization performance forms an intriguing paradox. We took an information-theoretic approach. We find that the locally varying dimensionality of the parameter space can be studied by the discipline of singular semi-Riemannian geometry. We adapt Fisher information to this singular neuromanifold. We use a new prior to interpolate between Jeffreys' prior and the Gaussian prior. We derive a minimum description length of a deep learning model, where the spectrum of the Fisher information matrix plays a key role to reduce the model complexity.

研究动机与目标

• 解决高容量深度神经网络实现强泛化性能的悖论。
• 将神经网络的参数空间建模为奇异半黎曼流形，以分析其局部变化的维度。
• 将费雪信息适应于奇异神经流形，以改进模型复杂度估计。
• 推导一种将费雪信息矩阵谱纳入考量的最小描述长度（MDL）准则。
• 引入一种介于杰弗里斯先验与高斯先验之间的新先验，以在高维学习中施加奥卡姆剃刀原则。

提出的方法

• 使用微分几何将深度神经网络的参数空间形式化为奇异半黎曼流形。
• 将费雪信息度量适应于奇异神经流形，以实现局部维度分析。
• 提出一种混合先验，可在杰弗里斯非信息先验与高斯先验之间平滑插值。
• 推导一种MDL公式，其中模型复杂度取决于费雪信息矩阵的特征值。
• 利用费雪信息矩阵的谱量化有效模型复杂度，并在高维设置中实现奥卡姆剃刀原则。
• 应用信息论原理，将参数空间的几何结构与泛化性能联系起来。

实验结果

研究问题

• RQ1 深度网络参数空间中局部变化的维度如何影响模型复杂度与泛化性能？
• RQ2 奇异半黎曼几何如何用于建模神经网络权重空间的内在几何结构？
• RQ3 费雪信息矩阵的谱如何影响深度学习模型的最小描述长度？
• RQ4 混合先验在平衡归纳偏置与信息论模型选择中扮演何种角色？
• RQ5 如何在高维、奇异的参数空间中形式化并应用奥卡姆剃刀原则？

主要发现

• 深度神经网络的参数空间表现出局部变化的维度，可借助奇异半黎曼几何进行严格分析。
• 当费雪信息度量被适配于奇异神经流形时，其谱可揭示有效模型复杂度的决定因素。
• 所提出的混合先验可实现非信息先验与正则化归纳偏置之间的平滑过渡，从而提升泛化性能。
• 基于费雪谱推导出的最小描述长度准则，为高维设置下的模型复杂度降低提供了合理依据。
• 信息几何框架通过偏好维度更低的有效模型，支持奥卡姆剃刀原则，即使在高容量网络中亦然。
• 结果表明，通过几何与信息论正则化，高维参数空间可实现强泛化性能。