[論文レビュー] CoPhy-PGNN: Learning Physics-guided Neural Networks with Competing Loss Functions for Solving Eigenvalue Problems

Mohannad Elhamod, Jie Bu+6 more|arXiv (Cornell University)|Jul 2, 2020

Model Reduction and Neural Networks被引用数 10

ひとこと要約

本稿では、量子力学および電磁気学における固有値問題を解くために、訓練中に競合する物理的制約に基づく損失関数を適応的にバランスさせる物理的誘導型ニューラルネットワークフレームワーク、CoPhy-PGNNを提案する。温度勾配スケジュールを用いて損失重みを動的に調整することで、優れた一般化性能と低固有方程式誤差を達成し、大規模バッチ処理においてベースラインモデルを上回る精度とスケーラビリティを実現した。

ABSTRACT

Physics-guided Neural Networks (PGNNs) represent an emerging class of neural networks that are trained using physics-guided (PG) loss functions (capturing violations in network outputs with known physics), along with the supervision contained in data. Existing work in PGNNs has demonstrated the efficacy of adding single PG loss functions in the neural network objectives, using constant trade-off parameters, to ensure better generalizability. However, in the presence of multiple PG functions with competing gradient directions, there is a need to adaptively tune the contribution of different PG loss functions during the course of training to arrive at generalizable solutions. We demonstrate the presence of competing PG losses in the generic neural network problem of solving for the lowest (or highest) eigenvector of a physics-based eigenvalue equation, which is commonly encountered in many scientific problems. We present a novel approach to handle competing PG losses and demonstrate its efficacy in learning generalizable solutions in two motivating applications of quantum mechanics and electromagnetic propagation. All the code and data used in this work is available at https://github.com/jayroxis/Cophy-PGNN.

研究の動機と目的

• 競合する物理的誘導型（PG）損失関数が最適化を悪い局所的最小値に閉じ込めてしまうという、ニューラルネットワーク訓練における課題に対処すること。
• 固定されたトレードオフ重みではなく、訓練中に複数のPG損失の寄与度を適応的に調整することで、物理的誘導型ニューラルネットワークの一般化性能を向上させること。
• 量子力学および電磁波伝搬における固有方程式を含む実世界の科学的問題に対して、この適応的アプローチの有効性を実証すること。
• GPUの並列処理を活用してスケーラブルな推論を可能とし、特に大規模バッチ処理において、従来の反復的ソルバーと比較して顕著な高速化を達成すること。
• 物理法則とラベル付きデータを効果的に統合するニューラルネットワークを用いた固有値問題の解法に汎用性のあるフレームワークを提供すること。

提案手法

• 温度勾配スケジュールを用いて重みを動的に調整する仕組みを備えた、複数のPG損失関数とデータ駆動型損失を組み合わせた物理的誘導型ニューラルネットワーク、CoPhy-PGNNを導入する。
• 2つの適応的損失スケーリング機構を採用：物理的損失（λ_C）は、率bでゼロから増加し、エポックT_aで開始される。一方、データ損失（λ_S）は、率α_Sでλ_S0から毎Tエポックごとに減少する。
• 損失の重み付き和を用いる：L_total = λ_S × L_data + λ_C × L_PG。ここで、λ_Sおよびλ_Cは訓練中に動的に調整され、競合する目的をバランスさせる。
• 1次元量子調和振動子および2次元フォトニック結晶における電磁波伝搬という2つの分野で、固有値問題を解く応用を実施する。
• 適応的損失スキームを用いた確率的勾配降下法によりモデルを訓練し、初期化に依存せずグローバル最小値に収束することを実証する。
• 相対的固有方程式誤差および真値固有ベクトルとの重なり積分といった指標を用いて性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 競合する物理的誘導型損失関数の適応的バランスは、固有値問題に対するニューラルネットワーク解法の一般化性能を向上させるか？
• RQ2 複数の物理的制約から生じる矛盾する勾配の存在下で、損失重みの動的調整はグローバル最小値への収束にどのように影響するか？
• RQ3 ラベル付きデータ損失と物理的誘導型損失を組み合わせることで、単独で使用する場合と比較して、モデルの安定性と予測精度はどの程度向上するか？
• RQ4 特に従来の反復的ソルバーと比較して、大規模バッチの入力処理においてCoPhy-PGNNの推論性能はどの程度スケーリングされるか？
• RQ5 異なる種類のPG損失関数を有する量子系および電磁気的系の間で、モデルは一般化性能を示すか？

主な発見

• CoPhy-PGNNは、ベースラインニューラルネットワークと比較して相対的固有方程式誤差を顕著に低減し、多くのテストケースでほぼゼロの誤差を達成した。
• モデルは優れた一般化性能を示し、真値固有ベクトルとの重なりが1.0（完全一致）または0.0（完全直交）である予測の割合が高く、有効な固有ベクトルを識別する強靭性を示した。
• 重なり積分のヒストグラムは、CoPhy-PGNNが正しい固有ベクトルまたは完全に直交する固有ベクトルを予測するのに対し、ベースラインは中間的な重なり値を示すのと対照的であった。
• バッチサイズが100万の場合、CoPhy-PGNNはTITAN RTX GPUで1秒間に3億以上の入力を処理するという、顕著な実行時間のスケーラビリティを示した。
• ラベル付きデータ損失と適応的PG損失の組み合わせにより、より平坦で安定した損失のランドスケープが得られ、一般化性能の向上に寄与した。
• 特に未知の物理的構成への外挿においても、ブラックボックスニューラルネットワークおよび標準的なPGNNと比較して、精度と一貫性の両面で優れた性能を示した。