[论文解读] GSR: A Generalized Symbolic Regression Approach

Tony Tohme, Dehong Liu+1 more|arXiv (Cornell University)|May 31, 2022

Evolutionary Algorithms and Applications被引用 5

一句话总结

本文提出广义符号回归（GSR），一种新颖的方法，通过学习目标变量的变换并在遗传编程框架中使用基于矩阵的基函数编码，从而提升符号回归性能。GSR在标准基准测试中表现具有竞争力，并提出了SymSet这一更具挑战性的符号回归基准数据集。

ABSTRACT

Identifying the mathematical relationships that best describe a dataset remains a very challenging problem in machine learning, and is known as Symbolic Regression (SR). In contrast to neural networks which are often treated as black boxes, SR attempts to gain insight into the underlying relationships between the independent variables and the target variable of a given dataset by assembling analytical functions. In this paper, we present GSR, a Generalized Symbolic Regression approach, by modifying the conventional SR optimization problem formulation, while keeping the main SR objective intact. In GSR, we infer mathematical relationships between the independent variables and some transformation of the target variable. We constrain our search space to a weighted sum of basis functions, and propose a genetic programming approach with a matrix-based encoding scheme. We show that our GSR method is competitive with strong SR benchmark methods, achieving promising experimental performance on the well-known SR benchmark problem sets. Finally, we highlight the strengths of GSR by introducing SymSet, a new SR benchmark set which is more challenging relative to the existing benchmarks.

研究动机与目标

• 解决使用符号回归从数据集中识别可解释数学关系的挑战。
• 通过学习目标变量的变换来改进传统符号回归，提升模型的灵活性和准确性。
• 开发一种可扩展且可解释的方法，在基准数据集上超越现有方法。
• 提出SymSet，一个全新的、更具挑战性的符号回归基准数据集，以更好地评估方法性能。

提出的方法

• GSR通过学习目标变量的变换来修改传统符号回归问题，从而实现更灵活和精确的建模。
• 该方法将搜索空间限制为基函数的加权和，从而在保持表达力的同时降低复杂度。
• 采用基于矩阵的编码方案来表示基函数，其中每一行编码一个变换、参数类型和激活变量。
• 编码使用查表机制将矩阵元素映射到数学运算和变量，从而系统化地构建复杂表达式。
• 采用遗传编程来演化候选解，其适应度基于在训练数据上的回归性能进行评估。
• 该方法通过参数 $ n_{\bm{B}^\phi} $ 和 $ m_{\bm{B}^\phi} $ 支持对基函数复杂度的动态调整，控制变换数量和操作数。

实验结果

研究问题

• RQ1 与标准方法相比，学习目标变量的变换是否能提升符号回归的性能？
• RQ2 与基于树或基于字符串的编码相比，基于矩阵的编码在可扩展性和搜索效率方面表现如何？
• RQ3 广义符号回归框架在保持可解释性的同时，能否在多样化基准问题上实现具有竞争力的准确性？
• RQ4 所提出的SymSet基准数据集相较于现有SR基准，其挑战性有多大？
• RQ5 GSR在标准基准和新引入的基准上，相对于最先进符号回归方法的表现如何？

主要发现

• GSR在知名符号回归基准问题集上实现了具有竞争力的性能，表现出强大的泛化能力和准确性。
• SymSet的引入提供了一个比现有基准更具挑战性的数据集，使得对符号回归方法的评估更加充分。
• 基于矩阵的编码方案能够高效且系统化地表示复杂数学表达式，提升了搜索效率。
• GSR学习目标变量变换的能力使得其在目标变量需要非线性缩放的情况下能够拟合出更优的模型。
• 该方法在多种问题类型中表现出鲁棒性，包括具有复杂非线性关系和高维输入的问题。
• 实证结果证实，GSR在标准基准上优于或至少匹配了强基线方法，验证了其有效性。