[论文解读] Deep Residual Learning and PDEs on Manifold

Zhen Li, Zuoqiang Shi|arXiv (Cornell University)|Aug 17, 2017

Medical Imaging and Analysis参考文献 9被引用 31

一句话总结

本文将深度残差网络（ResNets）形式化为流形上的输运方程控制问题，表明残差块对应于特征线的前向欧拉时间离散化。该文提出了一类基于PDE的新型深度学习模型，利用点云上的输运方程、哈密顿-雅可比方程（HJ）及黏性哈密顿-雅可比方程，通过点积分法与加权非局部拉普拉斯算子实现离散化。

ABSTRACT

In this paper, we formulate the deep residual network (ResNet) as a control problem of transport equation. In ResNet, the transport equation is solved along the characteristics. Based on this observation, deep neural network is closely related to the control problem of PDEs on manifold. We propose several models based on transport equation and Hamilton-Jacobi equation. The discretization of these PDEs on point cloud is also discussed.

研究动机与目标

• 建立深度残差网络与PDE中特征线方法之间的理论联系。
• 将ResNet训练重新表述为由流形上输运方程控制的控制问题。
• 通过用其他PDE模型替代组件（如终端值、速度场、数值格式）来将ResNet推广至标准架构之外。
• 开发一种基于点积分法与加权非局部拉普拉斯算子的框架，用于在非结构化点云上求解PDE。
• 探索哈密顿-雅可比方程与黏性哈密顿-雅可比方程作为新型深度学习模型的潜力，以提升模型稳定性与泛化能力。

提出的方法

• 将ResNet重新表述为R^d中线性输运方程的终端-边界值问题，其中残差映射作为速度场。
• 将速度场建模为两层ReLU-BatchNorm网络，通过前向欧拉离散化与残差块操作直接关联。
• 利用输运方程的特征线反向追踪输入数据点，将ResNet的前向传播还原为该方程的数值解。
• 提出替代PDE模型：含绝对梯度项的哈密顿-雅可比方程，以及含Laplace-Beltrami耗散项的黏性哈密顿-雅可比方程。
• 通过点积分法（PIM）在点云上对PDE进行离散化，利用核基积分近似流形梯度与Laplace-Beltrami算子。
• 在有标签训练点上引入约束，以防止黏性模型中的过度平滑，从而在保持数据保真度的同时确保解的正则性。

实验结果

研究问题

• RQ1 残差网络架构能否被解释为PDE控制问题的数值解？
• RQ2 输运方程的特征线与离散化方式如何与深度网络中残差块的操作相联系？
• RQ3 哪些替代PDE模型（如哈密顿-雅可比方程、黏性HJ方程）可用于将ResNet推广至标准残差学习之外？
• RQ4 如何在无规则网格的非结构化点云上有效求解PDE？
• RQ5 通过Laplace-Beltrami算子引入的耗散在稳定流形上的PDE驱动深度学习模型中起到何种作用？

主要发现

• ResNet训练等价于沿特征线求解输运方程的控制问题，其中残差映射定义了速度场。
• 输运方程特征流的前向欧拉离散化恰好恢复了ResNet中的一个残差块，建立了PDE与神经网络之间的直接对应关系。
• 将标准的softmax终端值替换为加权非局部拉普拉斯算子可提升性能，表明该方法在半监督学习中具有更优的终端值建模潜力。
• 黏性哈密顿-雅可比方程模型通过在有标签点上施加约束，既保持了数据保真度，又利用耗散项对解进行正则化。
• 点云上的离散化通过点积分法实现，该方法利用核加权积分近似流形梯度与Laplace-Beltrami算子。
• 该框架支持使用替代数值求解器与PDE组件，为基于PDE理论设计新型深度学习模型开辟了新路径。