[论文解读] An unsupervised learning approach to solving heat equations on chip based on Auto Encoder and Image Gradient

Haiyang He, Jay Pathak|arXiv (Cornell University)|Jul 19, 2020

Model Reduction and Neural Networks参考文献 35被引用 20

一句话总结

该论文提出了一种无监督深度学习框架，结合自编码器（AE）和基于图像梯度（IG）的神经网络，无需依赖解数据即可在芯片上求解二维和三维热方程。AE对多种源项（如芯片功耗图）进行编码，而IG网络通过二阶有限差分方法强制实施PDE残差，从而实现对未见过的源项的低误差泛化（MAPE ≤ 0.4%）。

ABSTRACT

Solving heat transfer equations on chip becomes very critical in the upcoming 5G and AI chip-package-systems. However, batches of simulations have to be performed for data driven supervised machine learning models. Data driven methods are data hungry, to address this, Physics Informed Neural Networks (PINN) have been proposed. However, vanilla PINN models solve one fixed heat equation at a time, so the models have to be retrained for heat equations with different source terms. Additionally, issues related to multi-objective optimization have to be resolved while using PINN to minimize the PDE residual, satisfy boundary conditions and fit the observed data etc. Therefore, this paper investigates an unsupervised learning approach for solving heat transfer equations on chip without using solution data and generalizing the trained network for predicting solutions for heat equations with unseen source terms. Specifically, a hybrid framework of Auto Encoder (AE) and Image Gradient (IG) based network is designed. The AE is used to encode different source terms of the heat equations. The IG based network implements a second order central difference algorithm for structured grids and minimizes the PDE residual. The effectiveness of the designed network is evaluated by solving heat equations for various use cases. It is proved that with limited number of source terms to train the AE network, the framework can not only solve the given heat transfer problems with a single training process, but also make reasonable predictions for unseen cases (heat equations with new source terms) without retraining.

研究动机与目标

• 通过消除对解数据的需求，解决芯片热分析中监督学习的数据饥渴问题。
• 克服物理信息神经网络（PINNs）在每个新源项下均需重新训练的局限性。
• 使训练好的模型能够无需重新训练即可预测未见过的芯片功耗图对应的温度分布。
• 开发一种单一的训练流程，同时求解具有不同源项的多个热方程。
• 提升5G和人工智能芯片-封装-系统中热仿真效率与可扩展性

提出的方法

• 使用自编码器（AE）将多种源项（如芯片功耗图）压缩并编码到低维潜在空间中。
• 设计基于图像梯度（IG）的神经网络，在结构化网格上实现二阶中心差分格式，以强制实施热方程的PDE残差。
• 仅使用PDE残差和边界条件，端到端训练混合AE-IG框架，无需真实解数据。
• 通过图像增强（平移、旋转）从单一真实芯片功耗图生成多样化的训练源项。
• 使用自动微分计算梯度，以实现通过PDE约束的反向传播。
• 训练网络以最小化PDE残差损失，同时满足边界条件，且无需观测数据

实验结果

研究问题

• RQ1 一个单一的深度学习模型是否能够在一次训练过程中求解具有不同源项的多个热方程，且无需依赖解数据？
• RQ2 该模型是否能够在不重新训练的情况下泛化到未见过的源项（如旋转或平移后的功耗图）？
• RQ3 该模型在仅依赖PDE和边界条件监督的情况下，对二维和三维含对流项的热方程的温度分布预测能力如何？
• RQ4 与数值求解器相比，该模型在未见过的源项上的预测精度如何？
• RQ5 基于AE的源项编码在无监督PDE求解中如何提升泛化能力？

主要发现

• 对于包含不同功耗图的二维热方程，该框架在训练数据上的平均绝对百分比误差（MAPE）为0.19%。
• 对于217个未见过的二维功耗图（旋转和平移后），模型在测试集上的MAPE为0.4%，展现出强大的泛化能力。
• 在含对流项的三维模拟中，模型在188个未见过的功耗图上实现了训练MAPE为0.11%、测试MAPE为0.14%的性能。
• 该模型通过单一训练流程成功求解了包含正弦、指数及真实芯片功耗图等源项的热方程。
• AE-IG框架能有效泛化到未见过的源项，证明模型学习的是底层物理规律而非记忆训练数据。
• 与传统FEM或CFD方法相比，该框架显著降低了仿真成本，实现了超过100倍的速度提升且保持高精度