[论文解读] Logic Guided Genetic Algorithms

Dhananjay Ashok, Joseph Scott+3 more|arXiv (Cornell University)|Oct 21, 2020

Evolutionary Algorithms and Applications参考文献 20被引用 6

一句话总结

本文提出逻辑引导遗传算法（LGGA），一种通过将领域特定的辅助真理（ATs）整合到遗传算法中以实现损失计算和数据增强，从而提升符号回归（SR）性能的方法。通过从违反的ATs中迭代生成反例数据点，LGGA提高了数据效率与准确性，使Eureqa和TuringBot等SR工具能够多解决最多30.0%的方程，并在《费曼物理学讲义》中的物理方程上实现61.9%的数据效率提升。

ABSTRACT

We present a novel Auxiliary Truth enhanced Genetic Algorithm (GA) that uses logical or mathematical constraints as a means of data augmentation as well as to compute loss (in conjunction with the traditional MSE), with the aim of increasing both data efficiency and accuracy of symbolic regression (SR) algorithms. Our method, logic-guided genetic algorithm (LGGA), takes as input a set of labelled data points and auxiliary truths (ATs) (mathematical facts known a priori about the unknown function the regressor aims to learn) and outputs a specially generated and curated dataset that can be used with any SR method. Three key insights underpin our method: first, SR users often know simple ATs about the function they are trying to learn. Second, whenever an SR system produces a candidate equation inconsistent with these ATs, we can compute a counterexample to prove the inconsistency, and further, this counterexample may be used to augment the dataset and fed back to the SR system in a corrective feedback loop. Third, the value addition of these ATs is that their use in both the loss function and the data augmentation process leads to better rates of convergence, accuracy, and data efficiency. We evaluate LGGA against state-of-the-art SR tools, namely, Eureqa and TuringBot on 16 physics equations from "The Feynman Lectures on Physics" book. We find that using these SR tools in conjunction with LGGA results in them solving up to 30.0% more equations, needing only a fraction of the amount of data compared to the same tool without LGGA, i.e., resulting in up to a 61.9% improvement in data efficiency.

研究动机与目标

• 通过整合已知的领域特定辅助真理（ATs）来提升符号回归（SR）中的数据效率与准确性。
• 开发一种反馈机制，利用违反的ATs生成具有信息量的反例数据点，用于数据集优化。
• 通过将均方误差（MSE）损失与源自ATs的逻辑约束相结合，改进传统遗传算法（GAs）。
• 通过利用目标函数的数学特性，减少对大规模训练数据集的依赖。
• 在《费曼物理学讲义》中的真实世界物理方程上评估该方法，证明其在SR性能上的实际提升。

提出的方法

• LGGA接收标注的数据点和辅助真理（ATs）——即对称性、零值条件或函数恒等式等数学事实作为输入。
• 它使用遗传算法演化候选符号表达式，并通过在现有数据点上评估公式来检查其与ATs的一致性。
• 当候选表达式违反某条AT时，LGGA通过变换现有输入来生成一个反例数据点。
• 这些新生成的数据点被添加到训练集中，形成一个反馈回路，从而提升模型收敛速度与准确性。
• 该方法将传统的MSE损失与基于ATs的约束损失相结合，以引导搜索过程朝向数学上有效且准确的方程。
• 该过程是迭代进行的：仅当候选方程未能满足任意AT时，才生成新数据，从而确保数据增强具有针对性与高效性。

实验结果

研究问题

• RQ1 将辅助真理（ATs）整合到符号回归中是否能提升数据效率与收敛速度？
• RQ2 基于违反ATs的在线、反馈驱动数据增强策略相较于静态数据生成方法，效果如何？
• RQ3 LGGA在多大程度上能提升现有SR工具（如Eureqa和TuringBot）的性能？
• RQ4 将基于AT的损失与数据增强相结合，是否能带来更高的准确率与鲁棒性？
• RQ5 在可扩展性与实用性方面，LGGA与基于oracle或SMT求解器的方法相比表现如何？

主要发现

• 与无LGGA的基线SR相比，LGGA使Eureqa和TuringBot在《费曼物理学讲义》中的方程求解数量最多提升了30.0%。
• 该方法实现了最高达61.9%的数据效率提升，意味着达到相似或更优性能所需训练数据点显著减少。
• 使用LGGA生成的数据集优于基于ATs手动构建的数据集，证明了在线反馈回路在选择高价值反例方面的有效性。
• 基于AT的损失与动态数据增强的结合，显著加快了符号回归任务的收敛速度并提升了准确性。
• 即使仅使用简单的遗传算法，该方法也表现出色，表明若与TuringBot或Eureqa等先进SR工具结合，有望获得更大性能提升。
• LGGA在生成反例时无需访问oracle或SMT求解器，使其在实际应用中更具实用性与可扩展性。