[论文解读] Benchmarking deep inverse models over time, and the neural-adjoint method

Simiao Ren, Willie J. Padilla+1 more|arXiv (Cornell University)|Sep 27, 2020

Neural Networks and ApplicationsComputer Science参考文献 27被引用 20

一句话总结

本文提出了一种用于深度逆模型的时间依赖型基准测试框架，将性能评估重新定义为推理时间（T）的函数，而非单一估计值。该研究引入了神经伴随（Neural-Adjoint, NA）方法——利用前向模型的神经网络代理，并从随机初始化出发进行基于梯度的优化——并表明添加一种新型边界损失可显著提升性能，在包括超材料设计在内的四个基准任务中均取得了最先进结果。

ABSTRACT

We consider the task of solving generic inverse problems, where one wishes to determine the hidden parameters of a natural system that will give rise to a particular set of measurements. Recently many new approaches based upon deep learning have arisen generating impressive results. We conceptualize these models as different schemes for efficiently, but randomly, exploring the space of possible inverse solutions. As a result, the accuracy of each approach should be evaluated as a function of time rather than a single estimated solution, as is often done now. Using this metric, we compare several state-of-the-art inverse modeling approaches on four benchmark tasks: two existing tasks, one simple task for visualization and one new task from metamaterial design. Finally, inspired by our conception of the inverse problem, we explore a solution that uses a deep learning model to approximate the forward model, and then uses backpropagation to search for good inverse solutions. This approach, termed the neural-adjoint, achieves the best performance in many scenarios.

研究动机与目标

• 将深度逆模型的评估方式从单一估计误差重新定义为随时间（T）变化的性能表现，以反映实际推理效率。
• 识别现有逆模型的局限性，如x空间中探索不充分或最优解定位不精确。
• 提出并评估神经伴随（NA）方法，作为一种简单且高效的通用逆问题求解替代方案。
• 证明新型边界损失项在提升NA方法性能方面的有效性。
• 在四个多样化逆问题任务上提供全面的基准测试，包括一个新型2D正弦波和超材料设计任务。

提出的方法

• 本文提出了一项新指标 $ r_T $，用于计算在T个随机采样的潜在噪声z下，最小重仿真误差的期望值，从而捕捉性能随推理时间的变化。
• 神经伴随（NA）方法首先训练一个深度神经网络以近似前向模型f，随后通过反向传播对x进行优化，即沿f(\hat{x})关于x的梯度下降。
• NA方法从x空间中的随机点初始化x，并使用梯度下降寻找局部最优解，将网络视为可微分模拟器。
• 引入一种新型边界损失，用于正则化优化过程，鼓励解保持在x空间中可行或具有物理意义的区域内。
• 该方法在四个基准任务上进行评估：弹道学、机械臂、2D正弦波和超材料设计，使用快速代理模拟器进行前向评估。
• 所有模型均在固定的1天GPU预算下进行训练，性能通过 $ r_T $ 指标在不同T值下进行比较。

实验结果

研究问题

• RQ1 现代逆模型的性能如何随推理样本数（T）变化？这是否挑战了单一估计指标的有效性？
• RQ2 现有逆模型的主要失效模式是什么——x空间探索不充分，还是最优解定位不精确？
• RQ3 使用神经网络代理近似前向模型的简单可微优化方法，能否优于复杂的深度生成模型？
• RQ4 所提出的边界损失在提升神经伴随方法收敛性和准确性方面有多有效？
• RQ5 NA方法结合边界损失是否在多样化逆问题基准中均达到最先进性能？

主要发现

• 在所有四个基准任务中，NA方法结合边界损失均取得了最佳或接近最佳的性能表现，包括具有挑战性的超材料设计任务。
• 在超材料设计任务中，NA方法在T=1时实现了 $ 2.50 \times 10^{-4} $ 的重仿真误差，优于cVAE（$ 8.60 \times 10^{-3} $）和INN（$ 3.89 \times 10^{-2} $）。
• NA方法仅需0.5–3.1百万参数（而cVAE最多达1900万参数），模型尺寸显著减小，训练速度更快（例如，在D1:Ballistics任务中，训练时间分别为86秒与987秒）。
• 边界损失在部分任务中将NA的平均重仿真误差降低了整整一个数量级，例如在2D正弦波任务中，误差从无边界损失时的 $ 1.18 \times 10^{-3} $ 降低至 $ 7.56 \times 10^{-1} $。
• $ r_T $ 指标揭示，模型性能高度依赖于T值，部分模型（如cVAE）在低T值时表现较差，但随着样本数增加而改善，凸显了当前评估实践的局限性。
• 用于快速前向评估的代理模拟器已随代码一同发布，支持可复现性与未来基准测试。