[論文レビュー] An unsupervised learning approach to solving heat equations on chip based on Auto Encoder and Image Gradient

Haiyang He, Jay Pathak|arXiv (Cornell University)|Jul 19, 2020

Model Reduction and Neural Networks参考文献 35被引用数 20

ひとこと要約

本稿では、解のデータを必要とせずに、2次元および3次元の熱方程式をチップ上で解くために、自己符号化器（AE）と画像勾配（IG）に基づくニューラルネットワークを組み合わせた教師なし深層学習フレームワークを提案する。AEは多様な源項（例：チップのパワー分布）を符号化するが、IGネットワークは2次微分の有限差分法を用いてPDEの残差を強制し、未学習の源項に対しても低誤差（MAPE ≤ 0.4%）で一般化を実現する。

ABSTRACT

Solving heat transfer equations on chip becomes very critical in the upcoming 5G and AI chip-package-systems. However, batches of simulations have to be performed for data driven supervised machine learning models. Data driven methods are data hungry, to address this, Physics Informed Neural Networks (PINN) have been proposed. However, vanilla PINN models solve one fixed heat equation at a time, so the models have to be retrained for heat equations with different source terms. Additionally, issues related to multi-objective optimization have to be resolved while using PINN to minimize the PDE residual, satisfy boundary conditions and fit the observed data etc. Therefore, this paper investigates an unsupervised learning approach for solving heat transfer equations on chip without using solution data and generalizing the trained network for predicting solutions for heat equations with unseen source terms. Specifically, a hybrid framework of Auto Encoder (AE) and Image Gradient (IG) based network is designed. The AE is used to encode different source terms of the heat equations. The IG based network implements a second order central difference algorithm for structured grids and minimizes the PDE residual. The effectiveness of the designed network is evaluated by solving heat equations for various use cases. It is proved that with limited number of source terms to train the AE network, the framework can not only solve the given heat transfer problems with a single training process, but also make reasonable predictions for unseen cases (heat equations with new source terms) without retraining.

研究の動機と目的

• チップ熱的解析における教師あり学習のデータ集約的特性を克服し、解のデータの必要性を排除すること。
• 各新しい源項に対して再トレーニングを要する物理情報付きニューラルネットワーク（PINNs）の制限を克服すること。
• 再トレーニングを伴わずに、未学習のチップパワー分布に対応する温度プロファイルを予測できるモデルの一般化を可能にすること。
• 1つのトレーニングプロセスで、異なる源項を持つ複数の熱方程式を同時に解くこと。
• 5GおよびAIチップ・パckage・システムにおける熱的シミュレーションの効率性とスケーラビリティを向上させること。

提案手法

• 多様な源項（例：チップパワー分布）を低次元の潜在空間に圧縮・符号化するため、自己符号化器（AE）を用いる。
• 構造化グリッド上で2次中央差分スキームを実装する画像勾配（IG）ベースのニューラルネットワークを設計し、熱方程式のPDE残差を強制する。
• 真の解のデータを一切使用せず、PDEの残差と境界条件のみを用いて、ハイブリッドAE-IGフレームワークをエンドツーエンドでトレーニングする。
• 画像のアугメンテーション（平行移動、回転）を用いて、1つの現実的なチップパワー分布から多様なトレーニング用源項を生成する。
• 自動微分を用いて勾配を計算し、損失の逆誤差伝搬を可能にし、PDE制約を経由した逆誤差伝搬を実現する。
• 観測データを一切必要とせず、PDE残差損失を最小化するとともに境界条件を満たすようにネットワークをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 1つのトレーニングプロセスで、解のデータを一切必要とせず、異なる源項を持つ複数の熱方程式を解くことができるか？
• RQ2 再トレーニングを伴わず、回転やシフトが加えられた未学習の源項（例：回転・平行移動されたパワー分布）に対しても一般化できるか？
• RQ3 PDEと境界条件の監視のみで、対流を含む2次元および3次元熱方程式の温度プロファイルをどの程度正確に予測できるか？
• RQ4 数値ソルバーと比較して、未学習の源項に対するモデルの予測精度はどの程度か？
• RQ5 AEベースの源項符号化が、教師なしPDE解法における一般化をどのように向上させるか？

主な発見

• 2次元熱方程式において、多様なパワー分布を用いたトレーニングデータでは、平均絶対誤差率（MAPE）が0.19%に達した。
• 217個の未学習の2次元パワー分布（回転・平行移動あり）に対して、テスト時のMAPEは0.4%に留まり、優れた一般化性能を示した。
• 対流を含む3次元シミュレーションでは、188個の未学習パワー分布に対して、トレーニング時のMAPEが0.11%、テスト時のMAPEが0.14%であった。
• 1つのトレーニングプロセスで、正弦関数的、指数関数的、および現実的なチップパワー分布源項を含む熱方程式を効果的に解くことに成功した。
• AE-IGフレームワークは、未学習の源項に対しても効果的に一般化でき、モデルがトレーニングデータを記憶するのではなく、物理法則を学習していることを裏付けた。
• 従来のFEMやCFDと比較して、シミュレーションコストを顕著に削減でき、高精度を維持しながら100倍以上の高速化を実現した。