[论文解读] Geometric Understanding of Deep Learning

Na Lei, Zhongxuan Luo+2 more|arXiv (Cornell University)|May 26, 2018

Topological and Geometric Data Analysis参考文献 20被引用 34

一句话总结

本文提出了一种几何框架，通过证明自然数据位于低维流形上，解释了深度学习成功的原因，即深度神经网络（DNNs）通过分段线性映射学习这些流形。该框架引入了修正线性复杂度（rectified linear complexity）来衡量DNN的学习容量与流形编码的难度，并证明任何固定DNN架构都无法学习所有流形，同时利用最优质量传输理论显式控制潜在空间分布，从而提升生成建模效果。

ABSTRACT

Deep learning is the mainstream technique for many machine learning tasks, including image recognition, machine translation, speech recognition, and so on. It has outperformed conventional methods in various fields and achieved great successes. Unfortunately, the understanding on how it works remains unclear. It has the central importance to lay down the theoretic foundation for deep learning. In this work, we give a geometric view to understand deep learning: we show that the fundamental principle attributing to the success is the manifold structure in data, namely natural high dimensional data concentrates close to a low-dimensional manifold, deep learning learns the manifold and the probability distribution on it. We further introduce the concepts of rectified linear complexity for deep neural network measuring its learning capability, rectified linear complexity of an embedding manifold describing the difficulty to be learned. Then we show for any deep neural network with fixed architecture, there exists a manifold that cannot be learned by the network. Finally, we propose to apply optimal mass transportation theory to control the probability distribution in the latent space.

研究动机与目标

• 建立一个几何理论，解释为何深度学习能够成功表示复杂数据。
• 通过修正线性复杂度量化深度神经网络的学习能力。
• 定义通过修正线性复杂度衡量嵌入流形编码的内在难度。
• 提出一种利用最优质量传输显式控制潜在空间概率分布的方法。
• 证明任何固定DNN架构都无法学习所有可能的流形，揭示了一个根本性的理论极限。

提出的方法

• 将数据建模为位于高维环境空间中低维非线性流形上的点集。
• 将修正线性复杂度定义为ReLU DNN中分段线性函数可能具有的线性片段数的上界，从而量化其表征能力。
• 将嵌入流形的修正线性复杂度定义为实现分段线性编码映射所需的最少线性片段数，用于衡量编码难度。
• 使用ReLU DNN构建自编码器，通过编码器和解码器映射学习流形及其概率分布。
• 应用$L^2$最优质量传输理论，构建从简单先验分布（如均匀分布或高斯分布）到编码器诱导的真实潜在分布的显式变换。
• 将最优传输映射集成到自编码器框架中，形成OMT自编码器（OMT-autoencoder），从而提升生成样本质量与分布控制能力。

实验结果

研究问题

• RQ1 为何深度学习能够成功表示高维自然数据？
• RQ2 支撑深度神经网络成功的核心几何原理是什么？
• RQ3 能否以数据流形复杂度为依据，正式量化DNN的学习能力？
• RQ4 在流形结构方面，是否存在固定DNN架构所能学习内容的根本理论限制？
• RQ5 能否利用最优质量传输显式控制自编码器中的潜在分布，从而替代对抗训练？

主要发现

• 深度学习成功的核心原因在于自然数据的流形结构，即数据在低维非线性流形附近高度集中。
• 修正线性复杂度为DNN表征能力提供了正式度量，复杂度越高，其能表示的函数越复杂。
• 流形的修正线性复杂度量化了其内在编码难度，数值越高表示其拓扑或几何结构越复杂。
• 对于任何固定DNN架构，总存在一个其修正线性复杂度超过DNN容量的流形，从而证明了根本性的学习限制。
• 在MNIST和CelebA数据集上的实验表明，OMT自编码器生成的样本质量优于VAE和WGAN，视觉保真度更高。
• 在Buddha和人脸表面数据集上，自编码器能高精度保留精细几何细节，重建误差极低，Hausdorff距离接近零，且细胞分解达到230,051个单元，对应235,771个输入样本。