[论文解读] Informed Equation Learning

Matthias Werner, Andrej Junginger+2 more|arXiv (Cornell University)|May 13, 2021

Model Reduction and Neural Networks参考文献 33被引用 6

一句话总结

该论文提出 iEQL，一种符号回归框架，通过引入结构化稀疏先验并结合专家知识，从数据中学习可解释、紧凑的数学方程，同时在所有网络层中稳定使用具有奇点的原子函数（如对数和除法），实现高预测性能，且模型简洁，适用于嵌入式系统。

ABSTRACT

Distilling data into compact and interpretable analytic equations is one of the goals of science. Instead, contemporary supervised machine learning methods mostly produce unstructured and dense maps from input to output. Particularly in deep learning, this property is owed to the generic nature of simple standard link functions. To learn equations rather than maps, standard non-linearities can be replaced with structured building blocks of atomic functions. However, without strong priors on sparsity and structure, representational complexity and numerical conditioning limit this direct approach. To scale to realistic settings in science and engineering, we propose an informed equation learning system. It provides a way to incorporate expert knowledge about what are permitted or prohibited equation components, as well as a domain-dependent structured sparsity prior. Our system then utilizes a robust method to learn equations with atomic functions exhibiting singularities, as e.g. logarithm and division. We demonstrate several artificial and real-world experiments from the engineering domain, in which our system learns interpretable models of high predictive power.

研究动机与目标

• 开发一种符号回归系统，从数据中学习可解释、紧凑的数学方程，超越无结构的深度学习映射。
• 实现使用具有奇点的原子函数（如对数、除法）的神经网络在所有隐藏层中的稳定训练，克服数值不稳定性。
• 通过用户定义的每个原子单元的复杂度代价，系统性地编码关于允许或禁止的功能组件的专家知识。
• 提供灵活的结构化稀疏正则化，基于特定领域的约束偏好特定的功能组合。
• 在合成基准和真实世界工程问题上评估该方法，展示高预测性能和模型可解释性。

提出的方法

• 该方法用一组原子函数（如 sin、log、除法、乘法）替代标准神经网络激活函数，并使用可微分架构组合这些函数。
• 引入可学习参数以稳定对数和除法等奇异函数的优化，避免定义域违规和梯度爆炸。
• 通过广义稀疏正则化编码专家知识，为每个原子函数分配独立的复杂度代价，支持用户自定义偏好。
• 系统采用多目标优化策略，平衡预测准确率与模型复杂度，通过 V-int-S 或验证性能等标准进行选择。
• 架构支持全局和领域特定先验——例如在发动机扭矩实验中使用电机特定的复杂度因子——以塑造最终方程的功能组合。
• 通过帕累托前沿分析和基于验证的准则进行模型选择，确保计算效率和可解释性。

实验结果

研究问题

• RQ1 当对数和除法等奇异原子函数被用于神经网络的所有隐藏层时，符号回归能否实现稳健性？
• RQ2 如何系统性地将关于允许或禁止的功能组件的专家知识编码进神经符号方程学习框架中？
• RQ3 结构化稀疏先验在多大程度上能提升真实世界工程应用中所学方程的可解释性和预测性能？
• RQ4 与无约束符号回归相比，引入领域特定先验是否能生成更紧凑、更有意义且更具泛化能力的方程？
• RQ5 所提出方法在准确率和模型简洁性方面，能否优于或匹配高斯过程和遗传算法等最先进方法？

主要发现

• iEQL 框架成功在所有层中学习包含对数和除法等奇异函数的方程，通过可学习参数化实现稳定优化。
• 在真实世界的燃烧发动机扭矩数据集上，iEQL 的测试 RMSE 与高斯过程相当或更优，且模型仅含 170–470 个参数。
• 采用电机特定先验的 iEQL 模型生成的方程主要为多项式结构，且次数更高，减少了对对数和余弦等非线性单元的依赖。
• 使用领域特定复杂度因子使非线性单元（如对数、余弦、指数）的使用量减少了 30–50%，同时乘法和 x² 项的使用量相应增加。
• 尽管表达能力更强，iEQL 在性能上仍与专门针对除法设计的 EQL÷ 架构相当，表明其具有强大的泛化能力和鲁棒性。
• 通过 V-int-S 准则选择的方程既高度可解释又计算高效，无显著残差分布偏移，证实了模型的可靠性。