[论文解读] Fast Neural Models for Symbolic Regression at Scale

Allan dos Santos Costa, Rumen Dangovski+5 more|arXiv (Cornell University)|Jul 16, 2020

Evolutionary Algorithms and Applications参考文献 59被引用 11

一句话总结

OccamNet 是一种快速、轻量级的神经网络模型，通过将概率函数采样与基于交叉熵匹配的梯度优化相结合，能够为回归任务发现可解释的、稀疏的符号表达式。它在真实世界数据集上实现了最先进性能，仅使用单个 CPU 即可在数分钟内拟合复杂函数，并且在没有 AI 加速器的情况下也能在 GPU 上高效扩展。

ABSTRACT

Deep learning owes much of its success to the astonishing expressiveness of neural networks. However, this comes at the cost of complex, black-boxed models that extrapolate poorly beyond the domain of the training dataset, conflicting with goals of finding analytic expressions to describe science, engineering and real world data. Under the hypothesis that the hierarchical modularity of such laws can be captured by training a neural network, we introduce OccamNet, a neural network model that finds interpretable, compact, and sparse solutions for fitting data, a la Occam's razor. Our model defines a probability distribution over a non-differentiable function space. We introduce a two-step optimization method that samples functions and updates the weights with backpropagation based on cross-entropy matching in an evolutionary strategy: we train by biasing the probability mass toward better fitting solutions. OccamNet is able to fit a variety of symbolic laws including simple analytic functions, recursive programs, implicit functions, simple image classification, and can outperform noticeably state-of-the-art symbolic regression methods on real world regression datasets. Our method requires minimal memory footprint, does not require AI accelerators for efficient training, fits complicated functions in minutes of training on a single CPU, and demonstrates significant performance gains when scaled on a GPU. Our implementation, demonstrations and instructions for reproducing the experiments are available at this https URL.

研究动机与目标

• 开发一种可扩展、高效的符号回归方法，生成紧凑且可解释的解析表达式。
• 解决标准深度学习模型在科学和工程场景中泛化能力差和黑箱特性的问题。
• 实现在 CPU 上训练且内存占用极低，同时保持高性能。
• 发现包括隐函数、递归程序和图像分类规则在内的符号规律。
• 在 GPU 上实现高效扩展，实现更快训练，且无需专用 AI 加速器。

提出的方法

• OccamNet 在非可微函数空间上定义概率分布，以探索符号表达式。
• 采用两步优化：函数采样后，通过交叉熵匹配进行基于反向传播的权重更新。
• 通过进化策略优化，将概率质量偏向于拟合更好的函数。
• 利用神经网络权重以可微方式表示并优化符号表达式。
• 该方法支持多种函数类型，包括解析函数、递归函数和隐函数。
• 训练基于适应度评估的梯度更新，实现高效优化，无需对符号空间进行直接微分。

实验结果

研究问题

• RQ1 神经网络模型能否发现紧凑、可解释的符号表达式，并在训练数据之外实现良好泛化？
• RQ2 能否在 CPU 上以极低内存占用且无需 AI 加速器的情况下高效执行符号回归？
• RQ3 基于概率和可微函数空间采样的框架是否能优于现有符号回归方法？
• RQ4 该模型在 GPU 上能否实现高效扩展，同时保持低内存使用和高训练速度？
• RQ5 该方法能否在真实世界回归任务中有效处理多种函数类型，包括隐函数和递归函数？

主要发现

• OccamNet 在真实世界回归数据集上实现了最先进性能，优于现有符号回归方法。
• 该模型仅用单个 CPU 训练数分钟即可拟合复杂函数，展现出极高的效率。
• 在使用 GPU 时性能显著提升，硬件加速可带来明显性能增益。
• 该方法内存占用极低，适用于资源受限环境。
• 它成功在多种函数类型中发现符号表达式，包括隐函数和递归函数。
• 使用交叉熵匹配和进化采样，可在非可微函数空间中实现有效优化。