[论文解读] Interpretable Scientific Discovery with Symbolic Regression: A Review

Nour Makke, Sanjay Chawla|arXiv (Cornell University)|Nov 20, 2022

Evolutionary Algorithms and Applications被引用 6

一句话总结

本文综述了符号回归（SR）作为一种从数据中直接发现可解释、人类可读数学表达式的手段，比较了传统遗传编程与现代深度学习方法（如变换器和强化学习）的异同。研究指出，尽管基于深度学习的SR方法在合成数据上表现更优，但在恢复复杂表达式方面仍面临挑战，尤其是在数学运算库有限或未整合领域特定知识的情况下。

ABSTRACT

Symbolic regression is emerging as a promising machine learning method for learning succinct underlying interpretable mathematical expressions directly from data. Whereas it has been traditionally tackled with genetic programming, it has recently gained a growing interest in deep learning as a data-driven model discovery method, achieving significant advances in various application domains ranging from fundamental to applied sciences. This survey presents a structured and comprehensive overview of symbolic regression methods and discusses their strengths and limitations.

研究动机与目标

• 提供符号回归（SR）方法在科学发现中应用的结构化、全面概述。
• 分析遗传编程、深度学习和强化学习等不同SR方法的优势与局限性。
• 评估SR方法在合成数据集和真实世界数据集上的表现，特别是恢复已知物理定律的能力。
• 识别SR中的关键挑战，如数学运算库选择的敏感性以及基于深度学习方法的数值不稳定性。
• 倡导在物理学实验数据中更广泛地应用SR，以推动科学发现与模型可解释性。

提出的方法

• 符号回归将问题表述为在给定数学运算和函数集合的基础上，寻找最符合观测数据的数学表达式。
• 传统方法使用遗传编程（GP）通过选择、交叉和变异符号表达式来演化表达式树。
• 现代方法利用深度学习，特别是变换器，通过建模输入变量到输出表达式的序列到序列映射来生成符号表达式。
• 强化学习被用于训练智能体，通过最大化基于预测准确性的奖励信号来探索数学表达式的搜索空间。
• 线性符号回归用作基线方法，其中模型被限制为预定义特征的线性组合，因而无法捕捉非线性关系。
• 性能通过Nguyen和Livermore等基准数据集进行评估，报告了不同运算库和方法的恢复率。

实验结果

研究问题

• RQ1 在准确性和可解释性方面，不同符号回归方法（遗传编程、深度学习和强化学习）之间的表现如何比较？
• RQ2 SR方法在从合成数据和真实数据中恢复已知物理定律方面，其成功程度如何？
• RQ3 数学运算库中运算选择如何影响SR模型的性能与泛化能力？
• RQ4 当前SR方法在处理复杂非线性表达式时的主要局限性是什么？
• RQ5 符号回归能否有效应用于物理学中的真实实验数据，以实现科学发现？

主要发现

• 基于深度学习的符号回归方法，特别是基于变换器的模型，在合成基准测试中优于传统的遗传编程和线性方法，对复杂表达式的恢复率更高。
• NGPPS方法在使用通用运算库时未能恢复Nguyen-12表达式（f(x,y) = x⁴ − x³ + y²/2 − y），即使采用纯多项式基底，恢复率也仅为3%。
• 当定义域扩展至[0,10]时，Nguyen-12⋆的恢复率略有提升至12%，表明更广的数据范围有助于发现，但并不能保证成功。
• 性能对数学运算库的选择极为敏感；若包含三角函数或指数函数等领域特定函数，将显著提升对周期性或非线性现象的恢复能力。
• 线性符号回归受限于预定义的模型结构，即使真实函数为非线性，也无法捕捉复杂非线性关系。
• 尽管取得了显著进展，符号回归在处理相对简单的表达式时仍表现不佳，表明当前方法尚未足够稳健，难以广泛应用于真实世界的科学场景。