[论文解读] A Polynomial Neural network with Controllable Precision and Human-Readable Topology II: Accelerated Approach Based on Expanded Layer.

Gang Liu, Jing Wang|arXiv (Cornell University)|Jun 4, 2020

Neural Networks and Applications参考文献 16被引用 13

一句话总结

本文提出了一种加速版本的可控且可解释的多项式神经网络（CR-PNN II），通过扩展层结构提升计算效率。通过将泰勒级数近似重新表述为神经网络框架，CR-PNN II 在保持精度控制和人类可读拓扑结构的同时，显著提升了推理速度，适用于实时预测与系统辨识任务。

ABSTRACT

How about converting Taylor series to a network to solve the black-box nature of Neural Networks? Controllable and readable polynomial neural network (Gang transform or CR-PNN) is the Taylor expansion in the form of network, which is about ten times more efficient than typical BPNN for forward-propagation. Additionally, we can control the approximation precision and explain the internal structure of the network; thus, it is used for prediction and system identification. However, as the network depth increases, the computational complexity increases. Here, we presented an accelerated method based on an expanded order to optimize CR-PNN. The running speed of the structure of CR-PNN II is significantly higher than CR-PNN I under preserving the properties of CR-PNN I.

研究动机与目标

• 解决深度 CR-PNN 在前向传播中日益增长的计算复杂性问题。
• 在提升运行效率的同时，保持 CR-PNN 的可控精度与人类可读结构。
• 开发一种加速架构，在保留原始 CR-PNN 框架可解释性与准确性的前提下提升性能。
• 通过性能优化，实现多项式神经网络在实时应用中的实际部署。

提出的方法

• 该方法引入扩展层结构，重新组织 CR-PNN 的计算流程，减少冗余操作。
• 将泰勒级数近似重新表述为具有结构化、人类可读权重与激活函数的神经网络。
• 扩展层支持并行化与优化计算路径，降低深度相关的复杂度。
• 该架构保持与 CR-PNN I 相同的数学基础，但通过结构重构提升了执行速度。
• 网络拓扑保持可解释性，每一层对应泰勒展开中的一个多项式项。

实验结果

研究问题

• RQ1 如何在不牺牲精度控制的前提下提升 CR-PNN 的计算效率？
• RQ2 扩展层结构是否能在加速推理的同时保持 CR-PNN 的可解释性与准确性？
• RQ3 与原始 CR-PNN I 相比，新架构的性能提升如何？
• RQ4 扩展层对 CR-PNN 在更深网络中的可扩展性有何影响？

主要发现

• CR-PNN II 在保持原始模型所有关键特性的前提下，显著提升了运行速度。
• 扩展层结构有效降低了计算复杂度，同时未损害近似精度。
• 网络保持完全可解释性，每一层对应泰勒级数展开中的一个项。
• 该方法实现了更快的前向传播，使模型适用于实时预测与系统辨识。