[论文解读] Dimensionless machine learning: Imposing exact units equivariance

Soledad Villar, Weichi Yao+3 more|arXiv (Cornell University)|Apr 2, 2022

Computational Physics and Python Applications被引用 14

一句话总结

本文通过使用量纲分析将输入转换为无量纲量，提出了一种在机器学习中实现精确单位协变性的框架，确保模型在不同单位系统下预测结果的正确缩放。该方法通过应用布金汉姆π定理和群协变学习，强制实现物理一致性，从而在符号回归和仿真任务中提升了泛化能力和准确性。

ABSTRACT

Units equivariance (or units covariance) is the exact symmetry that follows from the requirement that relationships among measured quantities of physics relevance must obey self-consistent dimensional scalings. Here, we express this symmetry in terms of a (non-compact) group action, and we employ dimensional analysis and ideas from equivariant machine learning to provide a methodology for exactly units-equivariant machine learning: For any given learning task, we first construct a dimensionless version of its inputs using classic results from dimensional analysis, and then perform inference in the dimensionless space. Our approach can be used to impose units equivariance across a broad range of machine learning methods which are equivariant to rotations and other groups. We discuss the in-sample and out-of-sample prediction accuracy gains one can obtain in contexts like symbolic regression and emulation, where symmetry is important. We illustrate our approach with simple numerical examples involving dynamical systems in physics and ecology.

研究动机与目标

• 解决在物理科学中使用的机器学习模型缺乏显式量纲一致性强制的问题。
• 开发一种系统性方法，确保机器学习模型在单位变换下完全协变，这是物理学中的基本对称性。
• 通过将量纲不变性直接嵌入特征空间，提升模型的泛化能力和归纳偏置。
• 通过利用在不同单位系统下保持不变的输入量纲组合，实现更好的分布外性能。
• 提供一种轻量级、通用的框架，适用于科学机器学习中的回归、符号回归和仿真任务。

提出的方法

• 应用布金汉姆π定理，从具有已知量纲的输入特征中推导出完整的无量纲不变量集合。
• 在将所有输入特征输入任何机器学习模型之前，将其转换为无量纲组合。
• 在无量纲特征空间中训练模型，确保其在单位缩放变换下保持协变性。
• 通过使用已知物理常数反向执行无量纲变换，将预测结果重构回原始量纲空间。
• 应用群协变学习原理，确保模型输出能随输入单位变化正确缩放。
• 利用整数线性代数算法，系统性地从输入量纲中识别出最小生成集的无量纲量。

实验结果

研究问题

• RQ1 如何在科学应用的机器学习模型中形式化定义并强制实现单位协变性？
• RQ2 强制实现量纲一致性在符号回归和仿真任务中，能在多大程度上提升泛化能力和预测准确性？
• RQ3 无量纲特征工程是否能降低模型容量，同时保持或提升性能？
• RQ4 当测试输入与训练数据的单位系统不同时，该方法如何实现分布外泛化？
• RQ5 当基本物理常数或量纲未知时，该方法的实际局限性是什么？

主要发现

• 该方法通过使用布金汉姆π定理从输入变量构建无量纲特征，实现了精确的单位协变性。
• 实证结果表明，在符号回归和仿真任务中，模型的样本内和分布外预测准确性均有显著提升。
• 该方法使模型能够泛化到与训练数据单位系统不同的测试输入，只要其无量纲组合存在重叠。
• 通过量纲不变性降低模型容量，该方法提升了泛化能力并减少了过拟合。
• 该框架成功恢复了已知物理定律，例如在短波长极限下恢复瑞利-金斯定律，证明了其物理一致性。
• 该方法无法发现缺失的量纲常数，凸显了其在涉及未知物理定律或常数问题中的关键局限性。