[论文解读] How deep learning works --The geometry of deep learning

Xiao Dong, Jiasong Wu+1 more|arXiv (Cornell University)|Oct 30, 2017

Topological and Geometric Data Analysis参考文献 29被引用 10

一句话总结

本文通过借鉴量子计算与微分同胚模板匹配的类比，提出了一种深度学习的几何框架，将神经网络建模为黎曼流形上的曲线。研究揭示了网络性能取决于流形的曲率、曲线的复杂度以及结构设计，为优化CNN、ResNet、RNN和GAN等架构提供了几何基础。

ABSTRACT

Why and how that deep learning works well on different tasks remains a mystery from a theoretical perspective. In this paper we draw a geometric picture of the deep learning system by finding its analogies with two existing geometric structures, the geometry of quantum computations and the geometry of the diffeomorphic template matching. In this framework, we give the geometric structures of different deep learning systems including convolutional neural networks, residual networks, recursive neural networks, recurrent neural networks and the equilibrium prapagation framework. We can also analysis the relationship between the geometrical structures and their performance of different networks in an algorithmic level so that the geometric framework may guide the design of the structures and algorithms of deep learning systems.

研究动机与目标

• 开发一个理论性的几何框架，以解释深度学习系统为何且如何有效运作。
• 通过将网络建模为流形上的几何曲线，弥合深度学习系统设计与算法优化之间的鸿沟。
• 通过其底层几何结构，分析各类深度学习架构（如CNN、ResNet、RNN和GAN）的性能。
• 通过将结构复杂度、曲率与优化动力学关联到几何特性，指导新型深度学习系统的构建。
• 在统一的几何语言下整合多样化的深度学习框架，包括平衡传播与生成模型。

提出的方法

• 将深度学习系统建模为变换流形上的一条曲线 $ U(t) $，其中每个点对应一个网络状态。
• 在酉操作流形（如 $ U(2^n) $）上定义黎曼度量，以测地线距离量化计算复杂度。
• 将网络训练表述为几何优化问题：最小化曲线 $ U(t) $ 的长度，类比于量子计算中的“自由下落”原理。
• 将该框架应用于具体架构：CNN作为在 $ T_{CNN} $ 上的变换曲线，ResNet作为一系列近恒等变换的序列，RNN作为在数据空间 $ V_{RNN} $ 上扫过的弦。
• 通过在 $ T_{GAN} $ 中将生成器与判别器表示为耦合曲线，将模型扩展至GAN，其中在子空间上的局部操作可提升训练稳定性。
• 将平衡传播重新解释为模板匹配中的测地线发射，通过几何动力学将隐式优化与显式反向传播自然关联。

实验结果

研究问题

• RQ1 深度学习系统如何可被理解为变换流形上的几何曲线？
• RQ2 流形曲率与曲线复杂度在决定深度神经网络性能方面起到何种作用？
• RQ3 架构选择（如残差连接或递归结构）如何对应于线段长度或李群结构等几何特性？
• RQ4 生成模型（如GAN及其变体LAPGAN、GRAN、InfoGAN）如何从具有约束复杂度的耦合几何曲线中涌现？
• RQ5 平衡传播能否被解释为一种几何优化过程？这一解释如何统一隐式与显式学习框架？

主要发现

• 卷积神经网络的性能取决于线性复杂度（卷积核配置）与非线性复杂度（激活函数）之间的平衡，即使在深层网络中，若分布不佳仍会导致失败。
• 残差网络因在由大量短距离近恒等变换构成的曲线上实现了复杂度的均衡分布，从而显著降低了流形上的有效路径长度，因而表现出优越性能。
• 循环神经网络可被可视化为在数据流形上扫过的弦，堆叠或深层LSTM形成耦合弦，而网格LSTM则形成编织膜状结构。
• 生成对抗网络被建模为在 $ T_{GAN} $ 中同时优化两条曲线，其中LAPGAN通过在频带子空间中执行局部操作，降低复杂度并提升训练稳定性。
• InfoGAN通过施加聚类级结构来约束生成器的复杂度，减少灵活性，并通过几何正则化提升特征解耦程度。
• 平衡传播在几何上等价于模板匹配中的测地线发射，为隐式优化与显式反向传播在深度学习系统中的统一提供了自然桥梁。