[论文解读] Extrapolation and learning equations

Georg Martius, Christoph H. Lampert|arXiv (Cornell University)|Oct 10, 2016

Neural Networks and Applications被引用 18

一句话总结

本文提出了方程学习器（EQL），一种可微分的前馈神经网络，能够从数据中学习可解释的解析表达式，并通过稀疏性正则化和基于梯度的训练实现对未见数据域的泛化。当真实函数位于其假设类中时，EQL 能够成功外推至训练分布之外，且在合成数据和真实物理系统中均实现了高精度。

ABSTRACT

In classical machine learning, regression is treated as a black box process of identifying a suitable function from a hypothesis set without attempting to gain insight into the mechanism connecting inputs and outputs. In the natural sciences, however, finding an interpretable function for a phenomenon is the prime goal as it allows to understand and generalize results. This paper proposes a novel type of function learning network, called equation learner (EQL), that can learn analytical expressions and is able to extrapolate to unseen domains. It is implemented as an end-to-end differentiable feed-forward network and allows for efficient gradient based training. Due to sparsity regularization concise interpretable expressions can be obtained. Often the true underlying source expression is identified.

研究动机与目标

• 为解决经典机器学习在物理系统中受限于训练数据分布外推能力的问题，尤其是受解析方程支配的系统。
• 开发一种函数学习框架，生成可解释的简洁数学表达式，而非黑箱近似。
• 通过设计专为外推优化的模型，实现对分布外输入的鲁棒泛化，这对机器人学和控制系统中的安全性至关重要。
• 提出一种基于多目标优化验证误差与稀疏性的新型模型选择策略，以优先选择具备泛化能力的可解释方程。
• 证明端到端可微分架构结合结构化非线性单元，即使在观测数据有限或存在噪声的情况下，也能从数据中恢复真实的物理定律。

提出的方法

• EQL 是一种多层前馈网络，包含线性变换后接专用非线性单元：一元函数（恒等、正弦、余弦、Sigmoid）和二元乘法单元。
• 网络架构被设计为通过一组固定的可微基函数，表示物理方程中常见的解析形式，如三角函数和多项式项。
• 通过 L1 正则化和权重上的 L0 范数约束实现稀疏性，通过消除无关项来促进紧凑且可解释的方程。
• 整个网络为端到端可微，支持反向传播，并可使用标准优化技术高效训练。
• 模型选择采用多目标准则，平衡验证数据上的经验误差与所学方程的稀疏性，以优先考虑泛化而非内插。
• 该方法在具有已知真实方程的合成数据以及来自物理系统的实际数据（包括机器人动力学和 X 射线跃迁能级）上进行了评估。

实验结果

研究问题

• RQ1 能否设计一种神经网络架构，以学习可解释的解析表达式，并实现对训练分布之外的泛化？
• RQ2 包含特定可微基函数（如正弦、余弦、Sigmoid、乘法）如何影响模型恢复真实物理方程的能力？
• RQ3 稀疏性正则化和 L0 范数约束在多大程度上能提升所学方程的可解释性与外推性能？
• RQ4 基于验证误差与稀疏性的所提模型选择策略，与标准方法相比，在选择具备强外推能力的模型方面表现如何？
• RQ5 当真实函数不在网络架构的假设类中时，该方法存在哪些局限性？

主要发现

• 在合成实验中，当目标函数位于假设类内时，EQL 能够成功恢复真实底层方程，表现出强大的外推性能。
• 在小车-摆系统中，由于存在有理函数（除法），该系统超出假设类范围，EQL 和 MLP 均表现出较差的外推性能，EQL 在远距离外推集上的测试误差为 0.180。
• 在小车-摆系统的近距外推中，MLP 表现优于 EQL（0.0184 vs. 0.0621），但两者在远距离外推中均表现显著不佳，表明模型类本身不足。
• 在 X 射线跃迁能级数据案例中，EQL 学习到了简洁且可解释的方程，与已知物理关系一致，展示了其在真实世界中的适用性。
• L1 正则化与 L0 范数约束的使用导致稀疏且无偏的权重估计，从而生成紧凑且可解释的方程，准确反映真实函数形式。
• 当真实函数无法在模型的假设类中表示时，该方法无法恢复正确方程，凸显了扩展基函数集合以提升适用性的必要性。