[論文レビュー] Training multi-objective/multi-task collocation physics-informed neural network with student/teachers transfer learnings

Bahador Bahmani, WaiChing Sun|ArXiv.org|Jul 24, 2021

Model Reduction and Neural Networks参考文献 65被引用数 14

ひとこと要約

本論文は、事前学習、ネットワーク間知識移行、勾配修正に基づく最適化を統合した、マルチオブジェクティブでマルチタスクな物理則に基づくニューラルネットワーク（PINN）フレームワークを提案する。偏りのある物理的制約を扱うために、ベクトル化された目的関数と修正された勾配降下法を用いたパレート最適解を活用することで、訓練のロバスト性と収束性が向上し、ベンチマークPDE問題において標準的な重み付き和アプローチを上回る性能を発揮する。

ABSTRACT

This paper presents a PINN training framework that employs (1) pre-training steps that accelerates and improve the robustness of the training of physics-informed neural network with auxiliary data stored in point clouds, (2) a net-to-net knowledge transfer algorithm that improves the weight initialization of the neural network and (3) a multi-objective optimization algorithm that may improve the performance of a physical-informed neural network with competing constraints. We consider the training and transfer and multi-task learning of physics-informed neural network (PINN) as multi-objective problems where the physics constraints such as the governing equation, boundary conditions, thermodynamic inequality, symmetry, and invariant properties, as well as point cloud used for pre-training can sometimes lead to conflicts and necessitating the seek of the Pareto optimal solution. In these situations, weighted norms commonly used to handle multiple constraints may lead to poor performance, while other multi-objective algorithms may scale poorly with increasing dimensionality. To overcome this technical barrier, we adopt the concept of vectorized objective function and modify a gradient descent approach to handle the issue of conflicting gradients. Numerical experiments are compared the benchmark boundary value problems solved via PINN. The performance of the proposed paradigm is compared against the classical equal-weighted norm approach. Our numerical experiments indicate that the brittleness and lack of robustness demonstrated in some PINN implementations can be overcome with the proposed strategy.

研究の動機と目的

• 支配方程式、境界条件、熱力学的不等式などの、相互に矛盾する物理的制約によって引き起こされるPINN訓練における破綻性と不安定性を是正すること。
• ラベル付きデータを用いた事前学習とネットワーク間知識移行を導入することで、重み初期化を改善し、訓練の効率性と収束性を向上させること。
• 相互に矛盾する勾配に起因する局所最適解への陥落を回避する、スケーラブルでロバストな最適化戦略を、マルチオブジェクティブPINNに開発すること。
• 任意の重み付けスキームに依存せずに、競合する物理的制約を扱える統合的フレームワークを提供すること。
• 古典的で等重みのノルムアプローチと比較して、ベンチマーク境界値問題における性能優位性を実証すること。

提案手法

• ラベル付きデータを点群として保存し、フルPINN訓練の前段階で粗い初期知識を提供するために、事前学習を実施する。
• 小さな事前学習済みネットワークから大きなニューラルネットワークへの知識移行を活用し、効率的な重み初期化を実現する。
• 複数の物理的制約から生じる矛盾する勾配を解消するために、勾配修正技術を導入する。
• パレート最適解を可能にするために、ベクトル化された目的関数の定式化を採用する。
• 収束性と安定性を維持しながら、矛盾する勾配を処理する修正された勾配降下法を用いる。
• 支配PDE、境界条件、対称性、不変性、熱力学的不等式といった複数の物理的制約を、統一された損失関数に統合する。

実験結果

リサーチクエスチョン

• RQ1 補助データを用いた事前学習は、マルチオブジェクティブ問題におけるPINN訓練のロバスト性と収束性を向上させることができるか？
• RQ2 ニューラルネットワーク間の知識移行は、大規模PINNにおける初期化と訓練効率をどのように向上させるか？
• RQ3 勾配修正法は、競合する物理的制約に起因する矛盾する勾配を効果的に解消できるか？
• RQ4 提案手法のマルチオブジェクティブ最適化戦略は、古典的な重み付き和アプローチに比べ、解の精度と安定性において優れているか？
• RQ5 このフレームワークは、相互に矛盾する物理的制約を有する多様なベンチマークPDE問題において、どの程度のロバスト性を維持できるか？

主な発見

• 提案手法は、複数の制約に対して等重みノルムに依存する標準的なPINN実装と比較して、訓練のロバスト性が顕著に向上している。
• 点群データを用いた事前学習により、収束が加速し、悪くない局所最適解への陥落リスクが低減される。
• ネットワーク間知識移行により、大規模ニューラルネットワークの安定的かつ効率的な初期化が可能となり、解の分解能と訓練の安定性が向上する。
• 勾配修正アプローチにより、競合する物理的制約に起因する矛盾する勾配が効果的に緩和され、より優れたパレート最適解が得られる。
• 数値実験の結果、提案手法は古典的PINNアプローチと比較して、ベンチマーク境界値問題において優れた精度と安定性を達成している。
• 問題の次元が増加しても、本手法は効果的にスケーリングされ、一部の既存のマルチオブジェクティブ最適化技術が抱える悪いスケーラビリティ問題を回避する。