[论文解读] ChebNet: Efficient and Stable Constructions of Deep Neural Networks with Rectified Power Units via Chebyshev Approximations

Shanshan Tang, Bo Li+1 more|arXiv (Cornell University)|Nov 7, 2019

Neural Networks and Applications被引用 8

一句话总结

本文提出ChebNet，一种新颖的深度神经网络架构，采用修正幂单元（RePU）与切比雪夫多项式逼近，实现稳定且高精度的函数逼近。通过在频域中利用分层切比雪夫展开，ChebNet 实现了最优逼近复杂度与谱精度，其在稳定性与微调性能方面优于基于幂级数的RePU网络。

ABSTRACT

In a previous study [B. Li, S. Tang and H. Yu, Commun. Comput. Phy. 27(2):379-411, 2020], it is shown that deep neural networks built with rectified power units (RePU) as activation functions can give better approximation for sufficient smooth functions than those built with rectified linear units, by converting polynomial approximations using power series into deep neural networks with optimal complexity and no approximation error. However, in practice, power series approximations are not easy to obtain due to the associated stability issue. In this paper, we propose a new and more stable way to construct RePU deep neural networks based on Chebyshev polynomial approximations. By using a hierarchical structure of Chebyshev polynomial approximation in frequency domain, we obtain efficient and stable deep neural network construction, which we call ChebNet. The approximation of smooth functions by ChebNets is no worse than the approximation by deep RePU nets using power series. On the same time, ChebNets are much more stable. Numerical results show that the constructed ChebNets can be further fine-tuned to obtain much better results than those obtained by tuning deep RePU nets constructed by power series approach. As spectral accuracy is hard to obtain by direct training of deep neural networks, ChebNets provide a practical way to obtain spectral accuracy, it is expected to be useful in real applications that require efficient approximations of smooth functions.

研究动机与目标

• 解决在构造光滑函数的深度RePU网络时，基于幂级数逼近的数值不稳定性问题。
• 开发一种比现有基于RePU的深度神经网络构造更稳定、更高效的新方法。
• 在不引入近似误差的前提下，利用深度RePU网络实现谱精度的函数逼近。
• 实现可实际应用且可微调的深度网络，其逼近质量与或超过基于幂级数的RePU网络。

提出的方法

• 在频域中使用分层切比雪夫多项式逼近来构建深度RePU网络，以替代不稳定的幂级数展开。
• 通过张量积结构，将高阶切比雪夫多项式递归分解为低阶分量。
• 使用变换矩阵 $ S_k $ 实现多项式层与RePU网络层之间的系数映射，确保切比雪夫展开的精确表示。
• 采用多级分解：每一层的输出表示为递增阶数的缩放切比雪夫多项式的和，并通过 $ T_{s^k}(x) $ 递归分解。
• 推导出 $ S_k $ 的显式矩阵形式，特别是针对 $ s=2 $ 和 $ s=3 $ 的情况，从而实现高效的网络构建。
• 将基于切比雪夫的RePU网络与标准反向传播相结合，实现端到端的微调。

实验结果

研究问题

• RQ1 切比雪夫多项式逼近能否为构建深度RePU网络提供比幂级数更稳定的替代方案？
• RQ2 分层切比雪夫分解是否能保持RePU网络的最优逼近复杂度？
• RQ3 ChebNets 是否能在函数逼近中实现谱精度，其性能是否与或超过基于幂级数的RePU网络？
• RQ4 ChebNets 的微调性能与基于幂级数的RePU网络相比如何？

主要发现

• ChebNets 的逼近精度不低于基于幂级数的RePU网络，同时保持最优复杂度与零近似误差。
• 与基于幂级数的RePU网络相比，ChebNets 展现出显著提升的数值稳定性，后者在系数计算中存在不稳定性。
• 数值实验表明，ChebNets 可通过微调实现显著优于基于幂级数的RePU网络的性能。
• ChebNets 实现了深度网络逼近中谱精度的实际可达性，而直接训练则难以实现此目标。
• 针对 $ s=2 $ 和 $ s=3 $ 推导出的变换矩阵 $ S_k $，可实现切比雪夫系数到RePU网络权重的精确且高效的转换。