[论文解读] An Approach to Symbolic Regression Using Feyn

Kevin René Broløs, Meera Vieira Machado+6 more|arXiv (Cornell University)|Apr 12, 2021

Computational Physics and Python Applications被引用 36

一句话总结

本文介绍了 Feyn，一个通过 QLattice 进行符号回归的 Python 工具，展示了它如何构建可解释的基于图的模型并引导基于假设的数据发现，以乳腺癌数据集为例进行演示。

ABSTRACT

In this article we introduce the supervised machine learning tool called Feyn. The simulation engine that powers this tool is called the QLattice. The QLattice is a supervised machine learning tool inspired by Richard Feynman's path integral formulation, that explores many potential models that solves a given problem. It formulates these models as graphs that can be interpreted as mathematical equations, allowing the user to completely decide on the trade-off between interpretability, complexity and model performance. We touch briefly upon the inner workings of the QLattice, and show how to apply the python package, Feyn, to scientific problems. We show how it differs from traditional machine learning approaches, what it has in common with them, as well as some of its commonalities with symbolic regression. We describe the benefits of this approach as opposed to black box models. To illustrate this, we go through an investigative workflow using a basic data set and show how the QLattice can help you reason about the relationships between your features and do data discovery.

研究动机与目标

• 介绍监督式 ML 工具 Feyn 及其用于符号回归的 QLattice 引擎。
• 解释 QLattice 如何生成、细化并解释基于图的数学模型。
• 展示一个使用真实数据集进行假设生成与验证的实际工作流程。

提出的方法

• QLattice 在有限格点上模拟离散路径，将输入连接到输出，受强化的最佳路径引导。
• 模型表示为单向无环图（QGraphs）的相互作用（函数），如加法、乘法、对数、指数、tanh、高斯等。
• Feyn 提供自动特征编码，不需要归一化或独热编码，并保持生成方程的可解释性。
• 一个训练循环将成千上万的图拟合到数据中，选择最佳者，并更新格点以收敛到有用的解。
• 语义类型（Numerical、Categorical）引导自动编码和图构建。
• 用户约束搜索空间（问题类型、特征、深度）以聚焦探索并提高可解释性。

实验结果

研究问题

• RQ1 通过 QLattice 的符号回归如何为给定数据问题生成可解释的模型？
• RQ2 通过 QGraph 假设可以发现哪些特征之间的关系，以及它们与目标变量的关系？
• RQ3 限制 QLattice 搜索空间如何影响模型的可解释性和预测有用性？
• RQ4 由 QLattice 生成的假设能否在保持可解释性的同时推广到未见数据（holdout 集）？
• RQ5 使用 Feyn 时，哪种工作流最有效地促进假设形成、改进与验证？

主要发现

• QLattice 产生一组可控的基于图的假设集，便于检查并被解释为数学公式。
• 通过约束图的深度并包含特定特征，可以推导出可解释的模型，促进科学推理。
• 该方法能够实现可视化（ROC 曲线、概率分数、部分依赖）以帮助评估假设性能并识别过拟合。
• 选定的假设可以推广到 holdout 数据，支持“使用 Feyn 的符号回归产生稳健、可解释模型”的说法。
• 该工作流强调以假设驱动的探索和迭代改进，与科学方法一致，而不仅仅是最大化预测准确性。