[論文レビュー] Learning Neural Networks with Competing Physics Objectives: An Application in Quantum Mechanics.

Jie Bu, Mohannad Elhamod+4 more|arXiv (Cornell University)|Jul 2, 2020

Model Reduction and Neural Networks参考文献 19被引用数 2

ひとこと要約

本論文は、量子力学におけるニューラルネットワークの学習に向け、物理的制約（エネルギーの最小化とシュレーディンガー方程式の満たし）を動的にバランスさせる、適応的で多目的の物理ガイドド機械学習（PGML）手法を提案する。この手法は、非凸で競合する物理的損失項の最適なトレードオフを学習することで、ベースラインのPGMLモデルに比べ一般化性能を向上させる。

ABSTRACT

Physics-guided Machine Learning (PGML) is an emerging field of research in machine learning (ML) that aims to harness the power of ML advances without ignoring the rich knowledge of physics underlying scientific phenomena. One of the promising directions in PGML is to modify the objective function of neural networks by adding physics-guided (PG) loss functions that measure the violation of physics objectives in the ANN outputs. Existing PGML approaches generally focus on incorporating a single physics objective as a PG loss, using constant trade-off parameters. However, in the presence of multiple physics objectives with competing non-convex PG loss terms, there is a need to adaptively tune the importance of competing PG loss terms during the process of neural network training. We present a novel approach to handle competing PG loss terms in the illustrative application of quantum mechanics, where the two competing physics objectives are minimizing the energy while satisfying the Schrodinger equation. We conducted a systematic evaluation of the effects of PG loss on the generalization ability of neural networks in comparison with several baseline methods in PGML. All the code and data used in this work is available at this https URL.

研究の動機と目的

• 固定された重みを用いる既存の物理ガイドド機械学習（PGML）手法が単一の物理的目的に限定されているという限界に対処すること。
• ニューラルネットワーク学習において非凸な損失関数を持つ複数の競合する物理的目的を扱えるフレームワークを開発すること。
• 矛盾する物理的制約の重要性を動的に調整することで、量子力学的系におけるニューラルネットワークの一般化性能を向上させること。
• 標準的なPGMLベースラインと比較して、物理ガイドド損失関数がモデルの一般化性能に与える影響を体系的に評価すること。

提案手法

• 学習中に競合する物理ガイドド（PG）損失項の重みを動的に調整するメカニズムを導入する。
• 量子力学に応用し、量子状態のエネルギーを最小化するという2つの主要な目的を扱う。
• シュレーディンガー方程式の微分可能表現を制約損失として用い、エネルギー期待値損失と組み合わせる。
• 適応的重み係数を伴う合成損失関数を勾配ベース最適化で同時に最小化する戦略を採用する。
• 訓練中に相対的なPG損失項の重要性を検証ベースのメカニズムで調整し、手動によるハイパーパrameterチューニングを回避する。
• ベンチマークとしての量子力学的系を用いて、固定重みPGMLベースラインと比較して一般化性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 競合する物理的目的の適応的重み付けが、量子力学におけるニューラルネットワークの一般化性能にどのように影響するか？
• RQ2 複数の非凸な物理的制約が存在する状況で、動的損失重み戦略が固定重みPGML手法を上回ることができるか？
• RQ3 エネルギー最小化とシュレーディンガー方程式の満たしといった、競合する物理的目的が、ニューラルネットワーク学習においてどれほど互いに干渉し合うか？
• RQ4 収束速度と解の正確性の観点から、本手法は標準的なPGMLベースラインと比べてどのように差をつけるか？

主な発見

• 提案された適応的PGML手法は、固定重みのベースラインPGMLモデルに比べ、優れた一般化性能を達成する。
• 物理的損失項の重みを動的に調整することで、量子力学的系において収束が速くなり、より正確な解が得られる。
• 手動によるハイパーパrameterチューニングなしに、エネルギー最小化とシュレーディンガー方程式準拠の両目的を効果的にバランスできる。
• 両方の物理的目的を組み込むことで、ニューラルネットワークの予測の物理的整合性と信頼性が著しく向上する。
• 実験的結果から、適応的重み付けメカニズムが、固定重みベースラインと比較してエネルギー推定誤差とシュレーディンガー方程式違反を低減することが示された。
• 異なる量子系にわたり良好な一般化性能を示しており、問題ドメイン内の構造的変動に対してもロバストであることが示された。