[论文解读] AI Descartes: Combining Data and Theory for Derivable Scientific Discovery

Cristina Cornelio, Sanjeeb Dash+7 more|arXiv (Cornell University)|Sep 3, 2021

Data Visualization and Analytics被引用 4

一句话总结

本文提出 AI Descartes，一种新颖的框架，通过将符号回归与形式化逻辑推理相结合，从数据和公理理论中推导出科学定律。该方法结合基于优化的符号回归与自动定理证明，识别出不仅符合数据，而且能从背景原理中逻辑推导出的模型——成功从最少数据中重新发现开普勒第三定律、爱因斯坦的时间膨胀公式以及朗缪尔的吸附等温线。

ABSTRACT

Scientists have long aimed to discover meaningful formulae which accurately describe experimental data. A common approach is to manually create mathematical models of natural phenomena using domain knowledge, and then fit these models to data. In contrast, machine-learning algorithms automate the construction of accurate data-driven models while consuming large amounts of data. The problem of incorporating prior knowledge in the form of constraints on the functional form of a learned model (e.g., nonnegativity) has been explored in the literature. However, finding models that are consistent with prior knowledge expressed in the form of general logical axioms (e.g., conservation of energy) is an open problem. We develop a method to enable principled derivations of models of natural phenomena from axiomatic knowledge and experimental data by combining logical reasoning with symbolic regression. We demonstrate these concepts for Kepler's third law of planetary motion, Einstein's relativistic time-dilation law, and Langmuir's theory of adsorption, automatically connecting experimental data with background theory in each case. We show that laws can be discovered from few data points when using formal logical reasoning to distinguish the correct formula from a set of plausible formulas that have similar error on the data. The combination of reasoning with machine learning provides generalizeable insights into key aspects of natural phenomena. We envision that this combination will enable derivable discovery of fundamental laws of science and believe that our work is an important step towards automating the scientific method.

研究动机与目标

• 解决现有方法无法将一般逻辑公理（如守恒定律）整合到科学模型发现中的缺陷。
• 开发一种系统，确保所发现模型不仅准确，而且能从背景理论中形式化推导而出。
• 通过使用逻辑约束减少对大规模数据集的依赖，以区分正确公式与相似的数据拟合模型。
• 通过统一机器学习与形式化推理，实现端到端、可解释的科学定律发现。
• 提供一种支持泛化与超越经验拟合的洞察力的自动化、系统化科学发现框架。

提出的方法

• 该方法使用基于数学优化的符号回归引擎，从实验数据中生成候选公式。
• 它整合了一个形式化推理系统，通过自动定理证明检查每个候选公式是否能从一组公理中推导出来。
• 对于无法推导的公式，系统计算新的度量指标以指示其与可推导性的接近程度，从而支持模型的优化改进。
• 该框架支持对数值常数的存在量词，以处理理论推导中出现的经验参数。
• 它利用牛顿力学、相对论力学以及化学平衡原理等背景理论作为逻辑公理。
• 该系统在三个经典科学定律上进行了评估：开普勒第三定律、相对论时间膨胀以及朗缪尔吸附等温线。

实验结果

研究问题

• RQ1 能否通过形式化逻辑推理增强符号回归，以确保所发现模型能从科学公理中推导而出？
• RQ2 当数据本身无法区分时，逻辑约束是否能显著减少可能模型的数量？
• RQ3 混合神经符号系统在仅使用最少实验数据的情况下，能在多大程度上重新发现已知的基本定律？
• RQ4 当涉及算术与微积分运算符时，如何将形式化推理应用于符号回归？
• RQ5 系统能否量化模型与逻辑理论之间的“可推导距离”，从而支持迭代优化？

主要发现

• AI Descartes 在 Feynman 数据库中的 81 个符号回归问题上达到 60.49% 的准确率，优于 AI-Feynman（40.74%）、PySR（49.38%）和 BMS（48.15%）。
• 在包含最多两个变量的 15 个更简单问题子集中，AI Descartes 达到 86.67% 的准确率，显著优于其他方法。
• 在五个具有可用背景理论的选定问题中，推理模块在所有情况下均成功证明了正确公式的可推导性（直接或存在性推导）。
• 系统仅基于牛顿力学作为公理和最少的观测数据，便从太阳系数据中正确识别出开普勒第三定律。
• 在相对论时间膨胀的案例中，该方法从实验原子钟数据和狭义相对论公设中推导出正确公式。
• 对于朗缪尔吸附，该框架基于热力学平衡公理，从实验表面覆盖度数据中恢复了正确的等温线。