[论文解读] Accelerating Understanding of Scientific Experiments with End to End Symbolic Regression

Nikos Aréchiga, Francine Chen+5 more|arXiv (Cornell University)|Dec 7, 2021

Evolutionary Algorithms and Applications被引用 5

一句话总结

本文提出 MACSYMA，一种深度神经网络，通过直接将原始实验数据表映射到可解释的符号方程，实现端到端的符号回归。在不同长度和噪声水平的合成数据集上进行训练后，MACSYMA 能够以极高的准确率恢复已知的科学模型——例如行为科学中的主观效用方程——仅通过一次前向传播完成，从而绕过了遗传编程等计算成本高昂的方法。

ABSTRACT

We consider the problem of learning free-form symbolic expressions from raw data, such as that produced by an experiment in any scientific domain. Accurate and interpretable models of scientific phenomena are the cornerstone of scientific research. Simple yet interpretable models, such as linear or logistic regression and decision trees often lack predictive accuracy. Alternatively, accurate blackbox models such as deep neural networks provide high predictive accuracy, but do not readily admit human understanding in a way that would enrich the scientific theory of the phenomenon. Many great breakthroughs in science revolve around the development of parsimonious equational models with high predictive accuracy, such as Newton's laws, universal gravitation, and Maxwell's equations. Previous work on automating the search of equational models from data combine domain-specific heuristics as well as computationally expensive techniques, such as genetic programming and Monte-Carlo search. We develop a deep neural network (MACSYMA) to address the symbolic regression problem as an end-to-end supervised learning problem. MACSYMA can generate symbolic expressions that describe a dataset. The computational complexity of the task is reduced to the feedforward computation of a neural network. We train our neural network on a synthetic dataset consisting of data tables of varying length and varying levels of noise, for which the neural network must learn to produce the correct symbolic expression token by token. Finally, we validate our technique by running on a public dataset from behavioral science.

研究动机与目标

• 开发一种可扩展、可微分的方法，直接从原始实验数据中学习自由形式的符号表达式。
• 克服传统符号回归技术（如遗传编程和蒙特卡洛搜索）的计算不可行性。
• 实现可解释、高精度的科学模型，以支持理论发展和人类理解。
• 训练神经网络生成语法正确的符号表达式，而无需依赖显式的语法约束或事后验证。
• 在真实世界科学数据上验证该方法，包括建模前景理论的行为科学数据集。

提出的方法

• MACSYMA 将符号回归问题建模为端到端的监督学习问题，直接将数据表映射到符号表达式。
• 模型在具有不同长度和噪声水平的合成数据集上进行训练，学习逐个标记地生成方程。
• 采用前馈神经网络架构，当前版本中不包含循环或自回归组件。
• 网络被训练以预测最小化输入数据表预测误差的符号表达式。
• 该方法不通过外部规则强制语法正确性，而是依赖网络隐式学习有效语法规则的能力。
• 推理过程在推理阶段仅需一次前向传播，避免了迭代或基于搜索的解码过程。

实验结果

研究问题

• RQ1 深度神经网络能否直接从原始数据表中学习生成准确且可解释的符号方程？
• RQ2 在没有显式语法约束的情况下，神经网络在多大程度上能学习符号表达式的语法结构？
• RQ3 与传统的启发式或基于搜索的方法相比，端到端神经符号回归在速度和准确率方面表现如何？
• RQ4 该模型能否泛化到真实世界科学数据集并恢复已知的理论方程？
• RQ5 该模型能否扩展以处理可变长度输出，并支持人机交互式的公式选择？

主要发现

• MACSYMA 从 SEU 行为科学数据集中成功恢复了著名的主观效用方程（SV_i = p_i * V_i^α），证明了其发现基于理论模型的能力。
• 在训练过程中，生成公式的解析准确率约为 80%，表明网络能够学习生成语法正确的符号表达式。
• 推理过程极为高效，仅需一次前向传播，而无需依赖迭代搜索或优化过程。
• 该方法通过消除遗传编程或蒙特卡洛采样等计算成本高昂的搜索程序，在速度上显著优于传统符号回归技术。
• 该方法对不同长度和噪声水平的数据集具有泛化能力，显示出对训练分布中数据变异的鲁棒性。
• 作者识别出最大输出长度固定的局限性，并计划在未来工作中通过引入循环架构和束搜索对模型进行扩展。