[论文解读] Globally Optimal Symbolic Regression

Vernon Austel, Sanjeeb Dash+5 more|arXiv (Cornell University)|Oct 29, 2017

Evolutionary Algorithms and Applications参考文献 16被引用 14

一句话总结

本文提出一种基于混合整数非线性规划（MINLP）的全局最优符号回归方法，用于发现符合指定误差范围内的最简数学表达式。该方法保证全局最优性，直接计算精确的实数值常数，并成功从真实世界数据中重新发现开普勒第三定律和伽利略单摆方程。

ABSTRACT

In this study we introduce a new technique for symbolic regression that guarantees global optimality. This is achieved by formulating a mixed integer non-linear program (MINLP) whose solution is a symbolic mathematical expression of minimum complexity that explains the observations. We demonstrate our approach by rediscovering Kepler's law on planetary motion using exoplanet data and Galileo's pendulum periodicity equation using experimental data.

研究动机与目标

• 开发一种符号回归方法，保证在寻找能解释观测数据的最简数学表达式时具有全局最优性。
• 克服遗传编程等启发式方法的局限性，后者缺乏最优性保证，且需额外后处理步骤以优化常数。
• 将符号回归建模为混合整数非线性规划（MINLP），直接优化表达式的复杂度与预测误差。
• 通过优化框架无缝集成领域约束与用户偏好。
• 在真实物理数据集（包括系外行星轨道数据与单摆运动实验）上展示该方法的有效性。

提出的方法

• 将符号回归建模为混合整数非线性规划（MINLP），其中离散变量定义表达式树结构，连续变量计算预测值。
• 使用基于语法的约束集，确保仅考虑有效且大小受限的表达式树。
• 以表达式复杂度（如节点数或操作数）作为目标函数，以优先选择简洁表达式。
• 通过预测值与观测值之间距离度量施加最大相对误差边界，以控制模型保真度。
• 利用最先进的全局MINLP求解器（如BARON、SCIP），结合分支定界与凸松弛技术，确保全局最优性。
• 在优化过程中直接计算实数值常数，避免其他方法中所需的独立校准步骤。

实验结果

研究问题

• RQ1 能否通过数学规划而非启发式搜索实现符号回归的全局最优解？
• RQ2 MINLP建模能否同时保证符号模型的简洁性、准确性与正确常数估计？
• RQ3 在真实物理数据集上，该方法与启发式方法相比，在解的质量与计算效率方面表现如何？
• RQ4 该方法在多大程度上能从含噪声或不完整的数据中重新发现已知物理定律，如开普勒第三定律与单摆周期方程？
• RQ5 在不同误差容限边界下，该方法如何处理过拟合与模型简洁性之间的权衡？

主要发现

• 该方法成功从系外行星数据中重新发现开普勒第三定律 $ d = \sqrt[3]{c\tau^2M} $，最大相对误差为2%，并认证其为全局最优解。
• 对于单摆数据，该方法恢复了正确的物理形式 $ t_j = \pi j \sqrt{\ell/g} $，常数接近 $ \pi/\sqrt{g} \approx 1.002 $，在实验误差范围内。
• 平均而言，该方法在50分钟内求解实例（标准差75分钟），在6小时时间限制内95%的求解案例被认证为全局最优。
• 分支定界算法探索的节点数差异显著（147至600,000以上），几何平均为19,917，远低于约 $ \approx 2 \times 10^7 $ 种可能的表达式树。
• 在更高误差边界（如30%）下，返回了更简单的公式，如 $ \sqrt{\tau} $ 或 $ cj $，体现了简洁性与准确性的权衡。
• 即使在连杆长度相近时，该方法仍能识别出单摆数据中正确的 $ j\sqrt{\ell} $ 形式，表明其对数据冗余与实验噪声具有鲁棒性。