[論文レビュー] Physical Symmetries Embedded in Neural Networks

Marios Mattheakis, Pavlos Protopapas+3 more|arXiv (Cornell University)|Apr 18, 2019

Model Reduction and Neural Networks参考文献 18被引用数 61

ひとこと要約

この論文は物理的制約をhubニューロンを介してニューラルネットワークに埋め込み、偶対称性とエネルギー保存を強制し、エネルギー保存を行うunsupervised微分方程式解法のシンプレクティックNNを含む。標準的なネットワークに比べて物理的忠実度と堅牢性の向上を示す。

ABSTRACT

Neural networks are a central technique in machine learning. Recent years have seen a wave of interest in applying neural networks to physical systems for which the governing dynamics are known and expressed through differential equations. Two fundamental challenges facing the development of neural networks in physics applications is their lack of interpretability and their physics-agnostic design. The focus of the present work is to embed physical constraints into the structure of the neural network to address the second fundamental challenge. By constraining tunable parameters (such as weights and biases) and adding special layers to the network, the desired constraints are guaranteed to be satisfied without the need for explicit regularization terms. This is demonstrated on upervised and unsupervised networks for two basic symmetries: even/odd symmetry of a function and energy conservation. In the supervised case, the network with embedded constraints is shown to perform well on regression problems while simultaneously obeying the desired constraints whereas a traditional network fits the data but violates the underlying constraints. Finally, a new unsupervised neural network is proposed that guarantees energy conservation through an embedded symplectic structure. The symplectic neural network is used to solve a system of energy-conserving differential equations and out-performs an unsupervised, non-symplectic neural network.

研究の動機と目的

• 物理法則に依存しない設計と解釈性の問題に対処するため、物理的制約をニューラルネットワークのアーキテクチャへ直接埋め込むことを動機づける。
• 明示的な正則化なしに、偶対称性とエネルギー保存を強制するhubニューロンを実証する。
• 埋め込まれた制約が、教師あり・教師なし設定の両方で予測精度を向上させ、物理法則を保持することを示す。
• 微分方程式を解く際にエネルギーを保存するシンプレクティックニューラルネットワークアーキテクチャを検討する。

提案手法

• 導出された重みとバイアスを介して制約を強制し、対称性または保存性を保証するhubニューロン（hub層）を導入する。
• ノイズのあるデータ下で偶対称性/奇対称性を持つ回帰タスクにhub層設計を適用する。
• エネルギー保存を回帰に埋め込むため、エネルギー制約を満たすよう予測を修正するhub層ODEソルバーを用いる。
• 試行解と制約ベースの損失を用いてハミルトン構造を強制することで、シンプレクティックニューラルネットワークを開発する。
• Hénon–Heiles系でシンプレクティックNNを実証し、標準MLPおよび従来のソルバーと比較する。

実験結果

リサーチクエスチョン

• RQ1 ノイズのあるデータでもhubニューロンはニューラルネットワークにおいて物理的対称性（偶/奇）を強制できるか？
• RQ2 埋め込まれた制約は回帰タスクと教師なしDE解法でエネルギー保存を保証できるか？
• RQ3 シンプレクティックNNはエネルギー保存とエネルギー保存系の解の質を向上させるか？

主な発見

• Hubアーキテクチャは偶対称性を強制し、ノイズ下で対称性の違反を減らし、しばしば学習を速める。
• エネルギー保存回帰は物理的エネルギーとの整合性を改善し、調和振動子で実証。
• シンプレクティックNNはエネルギー保存を伴うDEを、非シンプレクティックNNより低い訓練損失とより良いエネルギー保存で解く。
• シンプレクティックNNはHénon–Heiles系で正確な軌跡とエネルギー保存を実現し、いくつかの指標で標準NNおよび標準ODEソルバーを上回る。