[论文解读] Principled Deep Neural Network Training through Linear Programming

Daniel Bienstock, Gonzalo Muñoz+1 more|arXiv (Cornell University)|Oct 7, 2018

Machine Learning and Algorithms被引用 11

一句话总结

本文提出了一种多面体框架，将给定深度神经网络架构、激活函数、损失函数和样本量的所有可能的经验风险最小化问题编码到一个单一多面体中。关键结果是该多面体的大小随样本量线性增长，从而为通过线性规划训练深层网络提供了新的理论洞见和改进的计算复杂度界。

ABSTRACT

Deep learning has received much attention lately due to the impressive empirical performance achieved by training algorithms. Consequently, a need for a better theoretical understanding of these problems has become more evident in recent years. In this work, using a unified framework, we show that there exists a polyhedron which encodes simultaneously all possible deep neural network training problems that can arise from a given architecture, activation functions, loss function, and sample-size. Notably, the size of the polyhedral representation depends only linearly on the sample-size, and a better dependency on several other network parameters is unlikely (assuming $P eq NP$). Additionally, we use our polyhedral representation to obtain new and better computational complexity results for training problems of well-known neural network architectures. Our results provide a new perspective on training problems through the lens of polyhedral theory and reveal a strong structure arising from these problems.

研究动机与目标

• 开发一个统一的理论框架，用于分析深度神经网络训练的计算复杂度。
• 证明对于固定架构和样本量的所有经验风险最小化问题均可编码于单一多面体中。
• 建立该多面体的大小与样本量呈线性关系，尽管其对输入和参数维度具有指数依赖性。
• 基于此多面体表示，推导出训练深层网络的改进计算复杂度界。
• 为使用线性规划解逼近泛化风险提供理论保证。

提出的方法

• 将经验风险最小化（ERM）问题表述为基于网络架构、激活函数和损失函数导出的多面体集合上的线性规划问题。
• 构建一个与数据无关的多面体，编码给定架构和样本量下所有可能的ERM问题，其大小随样本量D线性增长。
• 利用多面体理论分析编码的面结构，将训练结果与多面体的几何特征关联起来。
• 应用线性规划技术，推导出泛化风险的逼近保证，包括样本复杂度的界。
• 利用已知的线性规划和凸分析结果，在各种假设下（例如有界权重、Lipschitz损失函数）推导复杂度界。
• 将所得算法复杂度与先前工作进行比较，尤其关注其对深度k、宽度w和逼近误差ϵ的依赖关系。

实验结果

研究问题

• RQ1 所有针对固定深度神经网络架构和样本量的经验风险最小化问题是否可以统一编码于单一多面体表示中？
• RQ2 该多面体编码的大小如何随样本量D、网络深度k、宽度w以及输入/输出维度变化？
• RQ3 通过该多面体编码，利用线性规划求解训练问题的计算复杂度是多少？
• RQ4 与文献中已有结果相比，该方法在泛化风险逼近保证方面表现如何？
• RQ5 通过分析与数据无关的多面体的面结构，能获得关于训练问题的哪些结构性洞见？

主要发现

• 对于固定架构和样本量，所有ERM问题的多面体编码大小随样本量D线性增长，这在标准复杂度假设下为最优。
• 多面体大小受O((2L∞(ℓ)w^{O(k²)}/ϵ)^{n+m+N} (4σ²/ϵ²) log((2L∞(ℓ)w^{O(k²)}/ϵ)^N / α))界，显示出对输入和参数维度的多项式依赖，以及对D的线性依赖。
• 通过线性规划求解可获得对泛化风险的高概率逼近，满足GRM(φ̄) ≤ minφ∈Φ GRM(φ) + 6ϵ，当样本量为D = (4σ²/ϵ²) log((2L∞(ℓ)w^{O(k²)}/ϵ)^N / α)时成立。
• 与先前工作（如[20]）相比，该方法在ϵ和k上的依赖关系更优，仅呈现对k的单指数依赖，而非双指数依赖。
• 该方法适用于非凸损失函数和一般输出维度m，而先前工作通常要求凸性或m=1。
• 多面体框架揭示了深度学习训练问题中强烈的底层几何结构，将优化问题与多面体几何及面结构紧密关联。