[論文レビュー] Enforcing Deterministic Constraints on Generative Adversarial Networks for Emulating Physical Systems

Yang Zeng, Jinlong Wu+1 more|arXiv (Cornell University)|Nov 15, 2019

Model Reduction and Neural Networks参考文献 30被引用数 15

ひとこと要約

本稿では、発散なしの速度場や幾何的形状といった決定的で曖昧な物理的制約を、生成対抗ネットワーク（GAN）の生成器損失に直接埋め込むことで、訓練の安定性とサンプルの忠実性を向上させる手法を提案する。これらの制約を微分可能ペナルティ項によって強制することで、制約が正確に満たされていなくても収束が加速され、耐障害性が向上し、幾何的および微分的制約の両タスクにおいて、標準GANに比べ顕著な改善が得られることを示している。

ABSTRACT

Generative adversarial networks (GANs) were initially proposed to generate images by learning from a large number of samples. Recently, GANs have been used to emulate complex physical systems such as turbulent flows. However, a critical question must be answered before GANs can be considered trusted emulators for physical systems: do GANs-generated samples conform to the various physical constraints? These include both deterministic constraints (e.g., conservation laws) and statistical constraints (e.g., energy spectrum of turbulent flows). The latter have been studied in a companion paper (Wu et al., Enforcing statistical constraints in generative adversarial networks for modeling chaotic dynamical systems. Journal of Computational Physics. 406, 109209, 2020). In the present work, we enforce deterministic yet imprecise constraints on GANs by incorporating them into the loss function of the generator. We evaluate the performance of physics-constrained GANs on two representative tasks with geometrical constraints (generating points on circles) and differential constraints (generating divergence-free flow velocity fields), respectively. In both cases, the constrained GANs produced samples that conform to the underlying constraints rather accurately, even though the constraints are only enforced up to a specified interval. More importantly, the imposed constraints significantly accelerate the convergence and improve the robustness in the training, indicating that they serve as a physics-based regularization. These improvements are noteworthy, as the convergence and robustness are two well-known obstacles in the training of GANs.

研究の動機と目的

• 乱流のような複雑な物理系のGAN生成サンプルに物理的整合性が欠けている問題に対処すること。
• 敵対的訓練における顕著な課題である収束性と耐障害性の向上。
• 正確な制約満たしが不要な状況でも、決定的で曖昧な物理的制約をGANに統合できる汎用的フレームワークの開発。
• 生成器損失関数における制約強制を通じた物理ベースの正則化の有効性の評価。
• 曖昧な物理的制約ですら、物理系のエミュレーションにおいてGANの性能を顕著に向上させることの証明。

提案手法

• 発散なしの速度場や円周上の点といった決定的物理的制約を、微分可能ペナルティ項として生成器の損失関数に組み込む。
• 制約違反が許容誤差εを超えた場合にのみ作動する制約損失関数を用い、曖昧な強制を可能にする。
• 制約違反の大きさ（例：発散がεを超えた場合の|∇·v|）を関数として定式化し、微分可能性を維持する。
• 標準の敵対的フレームワークを用いてGANを訓練するが、敵対的損失と物理的制約ペナルティを含む修正済みの生成器損失を適用する。
• 制約項の重みλと許容誤差εを調整し、収束性と制約満たしへの影響を調査する。
• 2つのテストケースでの性能評価：円上に点を生成（幾何的制約）と、発散なしの速度場を生成（微分的制約）。

実験結果

リサーチクエスチョン

• RQ1 曖昧な決定的制約をGANに効果的に埋め込むことで、訓練の収束性と耐障害性を向上させられるか？
• RQ2 許容誤差εのレベルが、GAN訓練における制約強制の安定性と正確性にどのように影響するか？
• RQ3 制約ペナルティによる物理ベースの正則化は、標準GANと比較して生成サンプルの質をどの程度向上させるか？
• RQ4 正確に満たされていない制約（近似的に満たされている制約）を強制しても、GAN性能に意味のある改善が得られるか？
• RQ5 許容誤差に基づく不連続な制約損失関数（例：ε-許容）が、訓練の安定性に与える影響は？

主な発見

• 物理的制約付きGANは、制約が正確に満たされていなくても、標準GANに比べて訓練収束を顕著に加速し、耐障害性を向上させる。
• 発散なし速度場タスクでは、ε = 0およびε = 1の両条件下で平均発散値がゼロに近づき（訓練データで0.64）、ε = 2.3では制約違反の間欠的発動により不安定化が生じた。
• 標準GAN（ε → ∞に相当）は、ε = 0またはε = 1の制約付きGANよりも平均発散値が大きかったため、制約強制が物理的忠実性を向上させることを示している。
• 許容誤差εを用いた制約損失関数は、制約違反がεを超えた際に勾配に不連続性を生じさせ、εが大きすぎる（例：ε = 2.3）と、変動する訓練履歴が観察され、不安定化を引き起こす。
• 曖昧な制約（例：ε = 1）であっても、GANは物理的制約を密接に満たすサンプルを生成しており、正則化アプローチの有効性を示している。
• 本手法は幾何的（円）および微分的（発散なし）制約の両方を効果的に強制でき、さまざまな物理系への広範な適用可能性を示している。