[论文解读] Neural-Guided Symbolic Regression with Semantic Prior.
该论文提出神经引导蒙特卡洛树搜索（NG-MCTS）用于符号回归，通过神经网络将语义先验（特别是输入极端处的主导幂次行为）整合到表达式搜索中。该方法在发现准确且可泛化的符号表达式方面显著优于基线模型，包括分布外的表达式。
Symbolic regression has been shown to be quite useful in many domains from discovering scientific laws to industrial empirical modeling. Existing methods focus on numerically fitting the given data. However, in many domains, symbolically derivable properties of the desired expressions are known. We illustrate these semantic priors with leading powers (the polynomial behavior as the input approaches 0 and $\infty$). We introduce an expression generating neural network that significantly favors the generation of expressions with desired leading powers, even generalizing to powers not in the training set. We then describe our Neural-Guided Monte Carlo Tree Search (NG-MCTS) algorithm for symbolic regression. We extensively evaluate our method on thousands of symbolic regression tasks and desired expressions to show that it significantly outperforms baseline algorithms and exhibits discovery of novel expressions outside of the training set.
研究动机与目标
- 解决现有符号回归方法忽略目标表达式已知语义特性的局限性。
- 将特定领域知识（如输入极端处的多项式行为）整合到符号表达式搜索过程中。
- 开发一种神经引导的搜索算法，使其能泛化到训练数据中未出现的主导幂次。
- 通过利用神经引导的语义先验，在数千个基准任务上提升符号回归性能。
提出的方法
- 训练神经网络以生成偏好特定主导幂次（即输入趋于0和∞时的行为）的符号表达式，即使这些幂次在训练期间未出现过。
- 神经网络作为蒙特卡洛树搜索（MCTS）框架中的策略模型，引导搜索朝向具有期望语义特性的表达式。
- NG-MCTS将神经策略与树搜索相结合，实现在尊重语义约束的前提下高效探索符号表达式空间。
- 该方法采用可微分架构，支持通过表达式生成过程进行反向传播，从而实现神经策略的端到端训练。
- 语义先验通过神经网络的架构和损失函数中的归纳偏置进行编码，特别关注渐近行为。
- 搜索过程由神经策略得分和树搜索统计量共同引导，平衡探索与利用。
实验结果
研究问题
- RQ1通过整合已知的语义先验（如主导幂次），神经引导搜索方法能否提升符号回归性能？
- RQ2该方法在训练期间未见的主导幂次上泛化能力如何？
- RQ3NG-MCTS是否在多样化的符号回归任务中均优于标准符号回归基线？
- RQ4该方法在多大程度上能发现训练分布外的新型、准确表达式？
- RQ5神经生成与MCTS的结合在符号表达式搜索中有多高效？
主要发现
- NG-MCTS在数千个符号回归任务中显著优于基线算法，表现出更高的准确性和样本效率。
- 神经引导方法能泛化到训练数据中未出现的主导幂次，表明其具备稳健的归纳偏置学习能力。
- 该方法成功发现了训练集中不存在的新型符号表达式，展现出真正的泛化能力，超越插值范围。
- 通过神经引导整合语义先验，相比无约束搜索，能实现更快收敛和更高质量解。
- 神经策略有效捕捉并强制执行期望的渐近行为（如在0和∞处的多项式增长），从而提升搜索质量。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。