[論文レビュー] Weakly-Supervised Deep Learning of Heat Transport via Physics Informed Loss

Rishi Sharma, Amir Barati Farimani+3 more|arXiv (Cornell University)|Jul 24, 2018

Model Reduction and Neural Networks参考文献 20被引用数 30

ひとこと要約

本論文は、ラベルなしデータを用いずに偏微分方程式（PDE）に埋め込まれた物理的制約のみを用いて、2次元熱方程式を解くための弱教師付き深層学習手法を提案する。物理則に基づいた損失関数を設計し、局所的平衡条件（各点がその周囲の平均に等しい）を強制する学習可能な畝込みカーネルを用いることで、1024×1024の熱分布問題において1.5%未満の誤差を達成するとともに、ニューラルネットワークによる初期化によって有限差分ソルバーの高速化を実現する。

ABSTRACT

In typical machine learning tasks and applications, it is necessary to obtain or create large labeled datasets in order to to achieve high performance. Unfortunately, large labeled datasets are not always available and can be expensive to source, creating a bottleneck towards more widely applicable machine learning. The paradigm of weak supervision offers an alternative that allows for integration of domain-specific knowledge by enforcing constraints that a correct solution to the learning problem will obey over the output space. In this work, we explore the application of this paradigm to 2-D physical systems governed by non-linear differential equations. We demonstrate that knowledge of the partial differential equations governing a system can be encoded into the loss function of a neural network via an appropriately chosen convolutional kernel. We demonstrate this by showing that the steady-state solution to the 2-D heat equation can be learned directly from initial conditions by a convolutional neural network, in the absence of labeled training data. We also extend recent work in the progressive growing of fully convolutional networks to achieve high accuracy (< 1.5% error) at multiple scales of the heat-flow problem, including at the very large scale (1024x1024). Finally, we demonstrate that this method can be used to speed up exact calculation of the solution to the differential equations via finite difference.

研究の動機と目的

• 大規模なラベル付きデータセットへの依存を減らすために、物理法則を弱教師付き情報として活用すること。
• 真のラベルが一切存在しない状況でも、ニューラルネットワークが2次元熱方程式の定常解を学習できることを実現すること。
• データから学習可能な畝込みカーネルを用いて、物理系を支配する基本的なPDEを発見できることを示すこと。
• 訓練済みのニューラルネットワークを初期化に用いることで、有限差分ソルバーの収束速度を向上させること。
• 物理則に基づいた制約を適用することで、1024×1024にまで拡張可能な高解像度物理シミュレーションに、完全畝込みプログレッシブ成長法を適用すること。

提案手法

• 2次元熱方程式の離散化形式を表現する学習可能な畝込みカーネルを用いた物理則に基づいた損失関数を設計する。
• 3×3の畝込みカーネルを用いて、局所的平衡ルール（各ピクセルの値がその4近傍ピクセルの平均に等しい）を強制する。
• Adam最適化を用いて、画像全体でカーネル出力の絶対値を最小化するようにネットワークを訓練することで、PDE制約からの逸脱を最小限に抑える。
• プログレッシブ成長を用いた完全畝込みネットワークを用いて、1024×1024の高解像度熱分布問題にスケーリングする。
• 訓練済みのニューラルネットワークの出力を有限差分ソルバーの初期推定値として用い、収束までの反復回数を削減する。
• 高精度の真値を用いて、有限差分ソルバーの誤差収束を標準的な定数初期化と比較することで、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータを一切用いずに、PDE制約を強制するだけで、深層ニューラルネットワークが2次元熱方程式の定常解を学習できるか？
• RQ2 学習可能な畝込みカーネルが、データのみから熱方程式を定義する局所的ルール（例：近傍ピクセルの平均）を発見できるか？
• RQ3 物理則に基づいたニューラルネットワークは、標準的な初期化戦略と比較して、有限差分ソルバーの加速にどの程度寄与できるか？
• RQ4 プログレッシブ成長を用いた完全畝込みネットワークを用いることで、1024×1024のような高解像度物理シミュレーションに、この手法はどの程度スケーリングできるか？
• RQ5 未知の物理系の支配的方程式を、PDE制約による弱教師付き学習によってデータから発見することは可能か？

主な発見

• 本モデルは、ラベルなしデータと物理則に基づいた損失関数のみを用いて、1024×1024の熱分布問題で平均ピクセル誤差が1.5%未満であることを達成した。
• 学習された畝込みカーネルは、2次元熱方程式に適した理想的な3×3カーネル（中心：-0.2181、近傍：0.0545）に非常に近い値を再現しており、基礎的なPDEルールの正確な発見を示している。
• ニューラルネットワークの出力を初期化に用いることで、有限差分ソルバーの収束に必要な反復回数が削減され、定数初期化と比較して著しく高速化された。
• プログレッシブ成長を用いた完全畝込みネットワークを用いることで、1024×1024の高解像度問題に成功裏にスケーリングされ、高い精度を維持した。
• 本手法により、ラベルなしデータに依存せず、物理的制約を損失関数に組み込むことで、PDEを解くためのニューラルネットワークのエンドツーエンド学習が可能になった。
• 高精度の真値との比較により、ニューラルネットワークの出力を初期化に用いた有限差分ソルバーは、ベースライン初期化と比較して収束が早く、各反復でより低い誤差を示した。