[論文レビュー] Study on a Poisson's Equation Solver Based On Deep Learning Technique

Tao Shan, W. Tang+5 more|arXiv (Cornell University)|Dec 15, 2017

Geophysical and Geoelectrical Methods参考文献 17被引用数 14

ひとこと要約

本稿では、有限差分法（FDM）で生成されたトレーニングデータを用いて、2次元および3次元の静電ポテンシャル分布のポアソン方程式を解くための深層畳み込みニューラルネットワーク（ConvNet）を提案する。モデルは2次元で1.5%未塔の相対誤差、3次元で3%未塔を達成し、従来のFDMソルバーよりも100倍以上の高速化を実現し、エンドツーエンド学習によりリアルタイムな電磁気シミュレーションを可能にする。

ABSTRACT

In this work, we investigated the feasibility of applying deep learning techniques to solve Poisson's equation. A deep convolutional neural network is set up to predict the distribution of electric potential in 2D or 3D cases. With proper training data generated from a finite difference solver, the strong approximation capability of the deep convolutional neural network allows it to make correct prediction given information of the source and distribution of permittivity. With applications of L2 regularization, numerical experiments show that the predication error of 2D cases can reach below 1.5\% and the predication of 3D cases can reach below 3\%, with a significant reduction in CPU time compared with the traditional solver based on finite difference methods.

研究の動機と目的

• 深層学習を用いて電磁気シミュレーションを高速化するためのポアソン方程式の解法の可能性を検証すること。
• 誘電率と源分布から電界ポテンシャルを予測するデータ駆動型でエンドツーエンドの深層学習モデルを構築すること。
• 従来の有限差分法（FDM）と比較して、計算時間を大幅に短縮しつつも高い精度を維持すること。
• 誘電率、形状、源の位置が異なる多様な2次元および3次元設定における汎化性能を評価すること。
• 訓練分布を超えた未確認の設定に対してもモデルが汎化可能であることを示すこと。

提案手法

• 完全畳み込みニューラルネットワーク（FCN）を用い、誘電率分布と源位置の入力配列を、出力としての電界ポテンシャル場にマッピングするように学習する。
• 2次元および3次元のドメインにおいて、点源や不均一な誘電体を含む多様な設定で、有限差分法（FDM）ソルバーを用いてトレーニングデータを生成する。
• 過学習を防ぎ、汎化性能を向上させるために、損失関数にL2正則化を適用する。
• TensorFlowを用いてNvidia K80 GPU上でAdam最適化法を用い、シナリオに応じて8,000～40,000件のトレーニングサンプルでネットワークを学習する。
• 2次元ケースでは入力サイズが64×64、3次元ケースでは64×64×64であり、出力サイズはそれぞれ32×32および32×32×32である。
• 相対誤差は |ϕ_ConvNet − ϕ_FDM| / |ϕ_FDM| で定義され、全グリッドポイントにおける平均誤差を計算する。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みニューラルネットワークは、誘電率と源の入力から2次元および3次元の静電ポテンシャル分布を正確に予測できるか？
• RQ2 このモデルの予測誤差は、従来の有限差分法（FDM）ソルバーと比較してどの程度か？
• RQ3 L2正則化は、深層学習ベースのポアソンソルバーにおいて、どの程度汎化性能を向上させ、過学習を軽減するか？
• RQ4 多様な設定において、FDMと比較して顕著な高速化を達成しつつも、高い精度を維持できるか？
• RQ5 このモデルは、訓練分布を超えた未確認の設定に対しても汎化可能か？

主な発見

• 2次元ケースでは、シナリオ1～5で平均-41 dB（約1.5%）の相対誤差を達成し、シナリオ6（すべての設定を含む）では最終的に平均-38 dB（約3%）の誤差を示した。
• 3次元ケースでは、平均-31 dB（約3%）の相対誤差を達成し、より複雑な幾何形状に対しても優れた性能を示した。
• 形状、誘電率値、源の位置が異なる多様な設定においても、一貫した低誤差を示しており、モデルの汎化性能が良好であることが確認された。
• トレーニング損失とテスト損失の曲線が密接に一致しており、過学習が発生しておらず、強力な汎化能力を有することが示された。
• 推論時間は著しく短縮され、2,000件の2次元ケースでは0.13秒（FDMでは16秒）、5件の3次元ケースでは1.2秒（FDMでは292秒）を記録し、リアルタイムシミュレーションの可能性を示した。
• FDMと比較して100倍以上の高速化を達成しつつも高い精度を維持したため、リアルタイム電磁気シミュレータへの実用可能性が示された。