[论文解读] Optimal Function Approximation with Relu Neural Networks

Bo Liu, Yi Liang|arXiv (Cornell University)|Sep 9, 2019

Advanced Numerical Analysis Techniques参考文献 26被引用 5

一句话总结

本文建立了使用前馈ReLU神经网络对凸一元函数进行最优逼近的理论基础。它推导了最优性的必要与充分条件，提供了逼近误差的紧致界，设计了专用的网络架构，并提出了一种收敛算法，以在给定线性段数量下实现最小误差的最优分段线性逼近。

ABSTRACT

We consider in this paper the optimal approximations of convex univariate functions with feed-forward Relu neural networks. We are interested in the following question: what is the minimal approximation error given the number of approximating linear pieces? We establish the necessary and sufficient conditions and uniqueness of optimal approximations, and give lower and upper bounds of the optimal approximation errors. Relu neural network architectures are then presented to generate these optimal approximations. Finally, we propose an algorithm to find the optimal approximations, as well as prove its convergence and validate it with experimental results.

研究动机与目标

• 确定使用固定数量线性段的ReLU神经网络表示凸一元函数时可达到的最小逼近误差。
• 建立此类逼近唯一性与最优性的必要与充分条件。
• 推导最优逼近误差的理论下界与上界。
• 设计能够实现这些最优逼近的ReLU神经网络架构。
• 开发并证明一种算法的收敛性，用于计算最优分段线性逼近。

提出的方法

• 对凸一元函数进行理论分析，以刻画使用ReLU网络时最优分段线性逼近的结构特征。
• 基于网络中线性段的数量，推导逼近误差的下界与上界。
• 构建能够实现所推导最优误差界的ReLU神经网络架构。
• 设计一种迭代算法，以计算最优分段点与权重，实现分段线性逼近。
• 在给定的理论框架下，证明所提出算法的收敛性。
• 通过实验结果验证算法的有效性，表明其在实现最小误差方面的优越表现。

实验结果

研究问题

• RQ1 当使用指定数量线性段的ReLU神经网络逼近凸一元函数时，可达到的最小逼近误差是多少？
• RQ2 在何种条件下最优逼近是唯一的？如何对其进行表征？
• RQ3 此类网络的逼近误差的最紧致理论下界与上界是什么？
• RQ4 如何系统化地设计ReLU神经网络架构，以实现最优逼近性能？
• RQ5 所提出的算法是否收敛至最优解？其在实际中表现如何？

主要发现

• 本文建立了使用ReLU网络对凸一元函数进行分段线性逼近时，唯一性与最优性的必要与充分条件。
• 推导出依赖于所用线性段数量的最优逼近误差的紧致下界与上界。
• 构建了能够实现理论上最优误差界的专用ReLU神经网络架构。
• 所提出的算法经实验结果验证，可收敛至最优逼近解。
• 理论误差界被证明在渐近意义下是紧致的，证实了所构建逼近的最优性。
• 该方法为设计深度最小的ReLU网络以实现凸一元函数的最优函数逼近提供了系统化方法。