[论文解读] A Differential Topological View of Challenges in Learning with Feedforward Neural Networks

Hao Shen|arXiv (Cornell University)|Nov 26, 2018

Topological and Geometric Data Analysis参考文献 39被引用 5

一句话总结

本文提出一种微分拓扑框架，通过将数据建模为光滑流形、将神经网络建模为光滑映射的复合，来分析前馈神经网络中的核心挑战——表达能力、可优化性与泛化能力。研究证明，满秩权重矩阵可确保数据流形的光滑嵌入，激活函数的光滑性会引致隐式正则化，而深层网络中的瓶颈结构则通过商拓扑实现不变表示学习。

ABSTRACT

Among many unsolved puzzles in theories of Deep Neural Networks (DNNs), there are three most fundamental challenges that highly demand solutions, namely, expressibility, optimisability, and generalisability. Although there have been significant progresses in seeking answers using various theories, e.g. information bottleneck theory, sparse representation, statistical inference, Riemannian geometry, etc., so far there is no single theory that is able to provide solutions to all these challenges. In this work, we propose to engage the theory of differential topology to address the three problems. By modelling the dataset of interest as a smooth manifold, DNNs can be considered as compositions of smooth maps between smooth manifolds. Specifically, our work offers a differential topological view of loss landscape of DNNs, interplay between width and depth in expressibility, and regularisations for generalisability. Finally, in the setting of deep representation learning, we further apply the quotient topology to investigate the architecture of DNNs, which enables to capture nuisance factors in data with respect to a specific learning task.

研究动机与目标

• 使用微分拓扑解决深度神经网络中的根本性挑战——表达能力、可优化性与泛化能力。
• 将数据集建模为光滑流形，并将DNN表示为流形之间光滑映射的复合。
• 研究满秩权重矩阵在训练过程中确保光滑且非退化表示的作用。
• 分析由光滑、单调且Lipschitz连续的激活函数引发的隐式正则化效应。
• 探讨具有瓶颈结构的深层网络架构如何通过商拓扑捕捉不变表示。

提出的方法

• 将输入数据建模为光滑流形，并将前馈神经网络的每一层表示为流形之间的光滑映射。
• 通过光滑映射的复合，将整个DNN定义为从输入空间到输出空间的光滑映射。
• 应用微分拓扑工具分析损失曲面，表明满秩权重矩阵可保持光滑性并避免退化。
• 通过分析激活函数光滑性与Lipschitz连续性对泛化的影响，研究隐式正则化效应。
• 利用商拓扑建模深层网络中的不变表示，尤其关注瓶颈结构。
• 在流形嵌入任务（如瑞士卷到圆、八字曲线）上进行实验，以验证理论结论。

实验结果

研究问题

• RQ1 微分拓扑如何解释深层网络相较于浅层网络在表达能力上的优势？
• RQ2 满秩权重矩阵在损失曲面中如何确保光滑且非退化的表示？
• RQ3 光滑、单调且Lipschitz连续的激活函数如何在训练网络中隐式正则化泛化性能？
• RQ4 深层网络中的瓶颈结构如何通过商拓扑实现不变表示的学习？
• RQ5 光滑流形建模能否解释梯度优化在深层网络中的成功？

主要发现

• 满秩权重矩阵对于确保DNN映射在输出空间中保持输入流形的光滑嵌入至关重要，可防止退化。
• 光滑、单调且Lipschitz连续的激活函数具有隐式正则化泛化的能力，且斜率越陡（如Sigmoid函数中的参数'a'越大），泛化性能越差。
• 具有瓶颈层（5层FNN）的深层网络在泛化误差上与无信息损失的浅层网络（4层FNN）相当，表明即使宽度极小缩减，不变性学习仍是可行的。
• 在流形学习任务（如瑞士卷到圆）的实验表明，DNN能够平滑地将复杂流形变形为目标流形，且输出轨迹在训练过程中连续变形。
• 基于商拓扑的理论分析表明，深层架构可通过投影去除无关变化，自然捕捉数据中的干扰因子。
• 网络输出沿输入空间对角路径的平滑变形，证实DNN对数据流形执行了连续且可微的变换。