[论文解读] Blending Diverse Physical Priors with Neural Networks
本文提出 PhysicsNAS，一种将物理先验与神经网络结合的可微分神经架构搜索方法，旨在在不同数据与模型精度条件下提升基于物理的学习效果。
Machine learning in context of physical systems merits a re-examination of the learning strategy. In addition to data, one can leverage a vast library of physical prior models (e.g. kinematics, fluid flow, etc) to perform more robust inference. The nascent sub-field of \emph{physics-based learning} (PBL) studies the blending of neural networks with physical priors. While previous PBL algorithms have been applied successfully to specific tasks, it is hard to generalize existing PBL methods to a wide range of physics-based problems. Such generalization would require an architecture that can adapt to variations in the correctness of the physics, or in the quality of training data. No such architecture exists. In this paper, we aim to generalize PBL, by making a first attempt to bring neural architecture search (NAS) to the realm of PBL. We introduce a new method known as physics-based neural architecture search (PhysicsNAS) that is a top-performer across a diverse range of quality in the physical model and the dataset.
研究动机与目标
- 将部分已知物理先验与数据驱动推断相结合，以提升鲁棒性和泛化能力。
- 开发一个可泛化的架构搜索框架，综合考虑数据质量和物理精度。
- 创建一个搜索空间和训练协议，纳入物理输入、物理运算集合和边权归一化。
- 证明 PhysicsNAS 在具有不同物理条件和数据质量的任务上优于手工设计的 PBL 方法。
提出的方法
- 通过向网络中添加物理输入，将可微分 NAS 扩展到物理基学习。
- 引入包含神经网络和专用物理前向运算的物理信息化运算集合。
- 使用边权对边选择进行归一化，以减轻物理算子引入的自由度差异。
- 采用两步训练过程，在架构参数优化与标准网络权重优化之间交替进行。
- 在两项模拟物理任务（先验不匹配：投射轨迹和碰撞速度）上进行评估。
- 分析搜索得到的架构及其如何利用物理先验与纯数据驱动组件的差异。
实验结果
研究问题
- RQ1NAS 能否被改造为自动发现容忍物理先验和训练数据质量差异的 PBL 架构？
- RQ2在不同程度的模型不匹配和数据可用性下，物理信息化架构是否优于手工设计的 PBL 模型？
- RQ3如何设计物理输入、运算和边权加权，以在 NAS 中有效整合先验信息？
主要发现
- PhysicsNAS 在不同任务和不匹配条件下始终优于手工设计的 PBL 方法，且改进幅度在各场景中呈现出差异化。
- PhysicsNAS 架构在所有搜索设计中倾向于使用物理输入，验证了引入先验物理信息的价值。
- 物理运算的选择取决于物理先验与数据的质量，当物理知识不完善时，残差连接通常更受青睐。
- PhysicsNAS 能减少数据需求，在较少训练样本下实现可比性能（例如少于 64 个样本 vs naive MLP 的 256）。
- 收敛的 PhysicsNAS 架构揭示了在先验可靠时嵌入准确物理运算的原则，以及在先验噪声较大时偏好残差或融合策略。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。