[论文解读] ChebNet: Efficient and Stable Constructions of Deep Neural Networks with Rectified Power Units using Chebyshev Approximations.

Shanshan Tang, Bo Li+1 more|arXiv (Cornell University)|Nov 7, 2019

Neural Networks and Applications参考文献 48被引用 22

一句话总结

本文提出ChebNet，一种利用切比雪夫多项式逼近构建的稳定且高效的深度神经网络架构，用于构建修正线性单元（RePU）网络。通过在频域中用分层切比雪夫展开替代传统的幂级数逼近，ChebNet在理论上达到与基于幂级数的RePU网络相同的逼近界，同时在实际应用中显著提升了数值稳定性与性能。

ABSTRACT

In a recent paper [B. Li, S. Tang and H. Yu, arXiv:1903.05858], it was shown that deep neural networks built with rectified power units (RePU) can give better approximation for sufficient smooth functions than those with rectified linear units, by converting polynomial approximation given in power series into deep neural networks with optimal complexity and no approximation error. However, in practice, power series are not easy to compute. In this paper, we propose a new and more stable way to construct deep RePU neural networks based on Chebyshev polynomial approximations. By using a hierarchical structure of Chebyshev polynomial approximation in frequency domain, we build efficient and stable deep neural network constructions. In theory, ChebNets and the deep RePU nets based on Power series have the same upper error bounds for general function approximations. But numerically, ChebNets are much more stable. Numerical results show that the constructed ChebNets can be further trained and obtain much better results than those obtained by training deep RePU nets constructed basing on power series.

研究动机与目标

• 解决在构建深度 RePU 神经网络时，基于幂级数逼近所面临的数值不稳定与计算困难问题。
• 开发一种比基于幂级数的 RePU 网络更稳定的替代方案，同时保持最优的逼近复杂度。
• 通过在构建过程中改善数值条件，实现深度 RePU 网络的实际部署。
• 证明基于切比雪夫的构造方法在训练后的稳定性与最终模型性能方面均优于基于幂级数的 RePU 网络。

提出的方法

• 在频域中使用分层切比雪夫多项式逼近替代传统幂级数展开，以构建深度 RePU 网络。
• 利用切比雪夫多项式的等波纹特性和稳定性，提升网络构建过程中的数值条件。
• 将多项式逼近映射到类似残差网络的深层架构中，以实现最优的逼近复杂度。
• 采用频域分解策略，系统性地构建多级逼近，并控制误差界。
• 设计一种镜像切比雪夫展开结构的网络架构，实现高效且稳定的参数化。
• 在保持与基于幂级数的 RePU 网络相同理论误差上界的同时，增强数值鲁棒性。

实验结果

研究问题

• RQ1 切比雪夫多项式逼近能否为构建深度 RePU 网络提供比幂级数更优的数值稳定性？
• RQ2 分层切比雪夫逼近是否能保持与基于幂级数的 RePU 网络相同的理论逼近误差界？
• RQ3 在训练过程中，ChebNets 的数值稳定性与基于幂级数的 RePU 网络相比如何？
• RQ4 在端到端训练后，ChebNets 是否能实现比基于幂级数的 RePU 网络更好的泛化性能？
• RQ5 通过切比雪夫多项式实现的频域分解对深度 RePU 网络的整体效率与收敛性有何影响？

主要发现

• ChebNets 在函数逼近方面达到与基于幂级数的 RePU 网络相同的理论误差上界。
• 在构建过程中，ChebNets 展现出显著优于基于幂级数的 RePU 网络的数值稳定性。
• 数值实验表明，ChebNets 可成功训练，并在训练后表现优于基于幂级数的 RePU 网络。
• 切比雪夫逼近的分层结构使得能够以受控逼近误差实现高效且稳定的深层网络构建。
• 由于增强了数值条件，基于切比雪夫的 RePU 网络在实际训练场景中优于其基于幂级数的对应模型。
• 所提出方法在解决幂级数计算固有的不稳定性问题的同时，保持了最优的逼近复杂度。