[論文レビュー] Physics-informed Convolutional Neural Networks for Temperature Field Prediction of Heat Source Layout without Labeled Data

Xiaoyu Zhao, Zhiqiang Gong+3 more|arXiv (Cornell University)|Sep 26, 2021

Model Reduction and Neural Networks参考文献 28被引用数 11

ひとこと要約

本稿では、ラベル付きシミュレーションデータを必要とせずに、熱源配置から定常状態の温度場を予測するための物理情報付き畳み込みニューラルネットワーク（PINN）を提案する。有限差分法を用いて熱伝導方程式を埋め込み、反射パディングによるハード境界制約を課すことにより、モデルは一連の偏微分方程式（PDE）を解く能力を学習し、有限差分法やデータ駆動型モデルと同等の予測精度を達成する。

ABSTRACT

Recently, surrogate models based on deep learning have attracted much attention for engineering analysis and optimization. As the construction of data pairs in most engineering problems is time-consuming, data acquisition is becoming the predictive capability bottleneck of most deep surrogate models, which also exists in surrogate for thermal analysis and design. To address this issue, this paper develops a physics-informed convolutional neural network (CNN) for the thermal simulation surrogate. The network can learn a mapping from heat source layout to the steady-state temperature field without labeled data, which equals solving an entire family of partial difference equations (PDEs). To realize the physics-guided training without labeled data, we employ the heat conduction equation and finite difference method to construct the loss function. Since the solution is sensitive to boundary conditions, we properly impose hard constraints by padding in the Dirichlet and Neumann boundary conditions. In addition, the neural network architecture is well-designed to improve the prediction precision of the problem at hand, and pixel-level online hard example mining is introduced to overcome the imbalance of optimization difficulty in the computation domain. The experiments demonstrate that the proposed method can provide comparable predictions with numerical method and data-driven deep learning models. We also conduct various ablation studies to investigate the effectiveness of the network component and training methods proposed in this paper.

研究の動機と目的

• ラベル付きシミュレーションデータの生成が高コストである熱的シミュレーションサーモンモデリングにおけるデータ取得のボトル neck を解消すること。
• ペアのトレーニングデータを必要としない深層学習サーモンモデルを構築し、熱源配置から温度場を予測すること。
• 有限差分に基づく損失関数を通じて、物理法則（熱伝導PDE）をトレーニングプロセスに直接組み込むこと。
• 反射パディングを用いてディリクレおよびノイマン境界条件をハード制約として課すことにより、モデルの収束性と精度を向上させること。
• ピクセル単位のオンラインハード例題マイニングと適切に設計されたUNetベースのCNNを用いて、最適化の安定性と予測精度を向上させること。

提案手法

• モデルは、離散的な熱源配置（入力）を2次元空間グリッドとして扱い、温度場の予測（出力）を生成するUNetベースのCNNアーキテクチャを用いる。
• 定常状態の熱伝導PDEの有限差分近似を用いて、領域全体にわたる残差違反をペナルティ化する物理情報付き損失関数を構築する。
• ディリクルおよびノイマン境界条件のハード制約は、反射パディングによって実装され、不適切な解の発生を防ぎ、収束を加速する。
• ピクセル単位のオンラインハード例題マイニングを適用し、領域全体にわたる最適化の難易度をバランスさせ、予測誤差の大きい領域に注目してトレーニングを集中させる。
• トレーニングの安定性と予測精度を向上させるために、グループ正規化（GN）、双線形補間アップサンプリング、GELU活性化関数が用いられる。
• バックプロパゲーションを用いてエンドツーエンドでモデルをトレーニングし、物理情報付き損失がラベルなしでPDEと境界条件を満たすようにネットワークをガイドする。

実験結果

リサーチクエスチョン

• RQ1 物理情報付きCNNは、ラベル付きシミュレーションデータが一切ない状況でも、熱源配置から温度場を予測できるか？
• RQ2 反射パディングによるハード境界条件の適用が、モデルの収束性と精度に与える影響は何か？
• RQ3 正規化、アップサンプリング、活性化関数といった異なるネットワーク部品が、予測性能に与える影響は何か？
• RQ4 オンラインハード例題マイニングは、不均一な領域において最適化の安定性と予測精度をどのように向上させるか？
• RQ5 提案手法は、熱的サーモンモデリングにおいて、数値ソルバーおよびデータ駆動型モデルと同等の予測精度を達成できるか？

主な発見

• 提案手法は、2つの異なるテストケースにおいて、それぞれ0.0108および0.0275のテスト平均絶対誤差（MAE）を達成し、有限差分法（FDM）の結果と同等の精度を示した。
• ゼロパディングに比べて反射パディングが優れており、境界損失値を低減させ、誤差の拡散を防ぎ、全体の予測精度を顕著に向上させた。
• バッチ正規化（BN）やインスタンス正規化（IN）に比べ、グループ正規化（GN）が著しく優れた性能を示し、最も安定的かつ正確な結果を出した。
• 双線形補間は、転置畳み込みに比べて、両方のテストケースで一貫して優れた性能を示し、より正確で滑らかな温度場の予測を可能にした。
• GN、双線形補間、GELU活性化関数の組み合わせが最良のパフォーマンスを発揮し、BNにReLUを用いた場合に比べてテストMAEが56％低減した。
• バッチサイズを小さく（例：1）にすると、大きなバッチサイズ（例：16）よりも収束が良く、MAEが低くなることが示され、このタスクではより多くのトレーニングステップがモデル学習を向上させることを示唆した。