[论文解读] Should You Derive, Or Let the Data Drive? An Optimization Framework for Hybrid First-Principles Data-Driven Modeling

Rémi Lam, Lior Horesh+2 more|arXiv (Cornell University)|Nov 12, 2017

Probabilistic and Robust Engineering Design参考文献 21被引用 9

一句话总结

本文提出一种优化框架，通过学习数据驱动的校正算子来减少模型误设，从而改进基于第一性原理的模型，尤其适用于反演任务。通过联合最小化数据差异、对校正算子施加低秩结构约束，并惩罚条件数，该方法提升了预测精度与鲁棒性，在不同正则化参数下均优于基线模型。

ABSTRACT

Mathematical models are used extensively for diverse tasks including analysis, optimization, and decision making. Frequently, those models are principled but imperfect representations of reality. This is either due to incomplete physical description of the underlying phenomenon (simplified governing equations, defective boundary conditions, etc.), or due to numerical approximations (discretization, linearization, round-off error, etc.). Model misspecification can lead to erroneous model predictions, and respectively suboptimal decisions associated with the intended end-goal task. To mitigate this effect, one can amend the available model using limited data produced by experiments or higher fidelity models. A large body of research has focused on estimating explicit model parameters. This work takes a different perspective and targets the construction of a correction model operator with implicit attributes. We investigate the case where the end-goal is inversion and illustrate how appropriate choices of properties imposed upon the correction and corrected operator lead to improved end-goal insights.

研究动机与目标

• 解决由于简化方程或数值近似导致的第一性原理模型误设问题。
• 开发一种系统性、基于优化的框架，用于学习隐式校正算子，而非依赖显式参数估计。
• 通过融入低条件数等任务特定优势，将校正后的模型适配至特定终端目标任务（如反演）。
• 将模型差异与观测噪声解耦，实现对模型误差更准确的诊断。
• 在包含缺失相互作用效应的机翼气动面板代码上验证该框架的有效性。

提出的方法

• 将校正问题表述为包含三个部分的约束优化问题：数据保真度、结构正则化（使用核范数实现低秩校正）和美德项（如条件数代理）。
• 使用带闭式梯度的Frank-Wolfe算法高效求解优化问题。
• 通过核范数正则化在校正算子上施加低秩结构，以确保计算可行性与物理解释性。
• 采用条件数的代理指标——即弗罗贝尼乌斯范数的倒数——作为优化中的代理，以提升反演任务中的数值稳定性和收敛性。
• 通过优化隐式构建校正算子，避免对模型偏差进行显式参数化。
• 在高保真模型生成的测试集上验证框架性能，并比较不同正则化参数下的表现。

实验结果

研究问题

• RQ1 数据驱动的校正算子是否能在无需显式参数调优的情况下提升第一性原理模型的预测性能？
• RQ2 对校正算子施加低秩结构在多大程度上影响模型稳定性与泛化能力？
• RQ3 最小化校正算子条件数在多大程度上提升反演精度？
• RQ4 该框架能否区分并分别处理模型误设与观测噪声？
• RQ5 该优化框架在不同正则化水平下是否均能实现一致的性能提升？

主要发现

• 在所有测试的正则化参数 λ 下，校正后的模型在反演误差上均优于误设模型。
• 当 λ ≥ 10³ 时，核范数约束开始生效，导致测试集上反演误差显著降低。
• 条件数代理（弗罗贝尼乌斯范数倒数）与真实条件数高度吻合，验证了其在优化中作为代理指标的有效性。
• 即使在 λ ≥ 3×10⁴ 时条件数被最小化，反演误差仍低于无约束情况（λ → 0），表明性能持续提升。
• 校正算子自然呈现出低秩、对角结构，与误设模型的主要特征一致，且无需显式参数化。
• 该框架成功恢复了面板代码中缺失的气动相互作用，证明其具备纠正遗漏物理解释的能力。