[論文レビュー] Frame-independent vector-cloud neural network for nonlocal constitutive modeling on arbitrary grids

Xu‐Hui Zhou, Jiequn Han+1 more|arXiv (Cornell University)|Mar 11, 2021

Model Reduction and Neural Networks参考文献 87被引用数 27

ひとこと要約

本論文は、任意のグリッド上で非局所的構成モデルを構築するためのフレーム不変なベクトルクラウドニューラルネットワークを提案する。対称性を保つアーキテクチャにより、平行移動、回転、点の順序に不変であることを保証する。本手法は、非構造格子上でのPDEに対するロバストでデータ駆動型の閉じ込めモデルを実現し、周期的ヒル幾何形状上でのスカラー輸送問題において高い精度を示し、優れた一般化性能と計算効率を有する。

ABSTRACT

Constitutive models are widely used for modeling complex systems in science and engineering, where first-principle-based, well-resolved simulations are often prohibitively expensive. For example, in fluid dynamics, constitutive models are required to describe nonlocal, unresolved physics such as turbulence and laminar-turbulent transition. However, traditional constitutive models based on partial differential equations (PDEs) often lack robustness and are too rigid to accommodate diverse calibration datasets. We propose a frame-independent, nonlocal constitutive model based on a vector-cloud neural network that can be learned with data. The model predicts the closure variable at a point based on the flow information in its neighborhood. Such nonlocal information is represented by a group of points, each having a feature vector attached to it, and thus the input is referred to as vector cloud. The cloud is mapped to the closure variable through a frame-independent neural network, invariant both to coordinate translation and rotation and to the ordering of points in the cloud. As such, the network can deal with any number of arbitrarily arranged grid points and thus is suitable for unstructured meshes in fluid simulations. The merits of the proposed network are demonstrated for scalar transport PDEs on a family of parameterized periodic hill geometries. The vector-cloud neural network is a promising tool not only as nonlocal constitutive models and but also as general surrogate models for PDEs on irregular domains.

研究の動機と目的

• 多様なキャリブレーションデータセットに対してロバストで、非構造格子に適用可能な非局所的でデータ駆動型の構成モデルの開発。
• 物理的システムのニューラルネットワークベース構成モデルにおいて、フレーム不変性（平行移動、回転、ガリレオ変換に対して不変）を保証すること。
• 乱流や対流効果などの非局所的物理を捉えることができるベクトルクラウド表現を用いた、領域から点へのマッピングを可能にすること。
• 複雑な流れ領域において、剛性が高くキャリブレーションが難しい従来のPDEベースの閉じ込めモデルの限界を克服すること。
• 不規則な領域におけるPDEの一般用途のスループットモデルを構築すること。線形計算スケーリングを、近隣点数に関して実現する。

提案手法

• ターゲット点の周囲の点群（座標、速度、スカラー量などの特徴ベクトルを有する）として、非局所的流れ情報をベクトルクラウドとして表現する。
• 平行移動／回転不変な操作の合成により不変特徴行列 D を構築する：G⊤QQ⊤G⋆、ここで G はスカラー特徴の埋め込み、Q は入力データ行列である。
• スカラー特徴 ci を m 次元ベクトルにマップする埋め込みネットワークを用い、点間で共有・同一の処理を施すことで不変性を確保する。
• 不変特徴行列 D ∈ ℝ^{m×m′} に対して、フィッティングネットワーク（全結合層）を適用し、ターゲット点における閉じ込め変数 τ を予測する。
• 点の順序に依存しないことを保証するため、対称的集約（例：点インデックスの平均化）を用いて置換不変性を強制する。
• Adam最適化法を用いて学習を実行し、2000エポック、バッチサイズ1024、学習率スケジューリング戦略（600エポックごとに0.7倍）を採用する。

実験結果

リサーチクエスチョン

• RQ1 座標系変換（平行移動、回転、ガリレオ変換）に対して不変でありながら、物理的整合性を保つように設計された深層学習モデルは、構成モデルに適用可能か？
• RQ2 非構造格子上でのニューラルネットワークを用いた非局所的、領域から点へのマッピングを、どのように効果的にモデル化できるか？
• RQ3 データ駆動型でフレーム不変なニューラルネットワークは、多様な流れ状態やパラメータ化された幾何形状に一般化可能か？
• RQ4 ベクトルクラウド表現において、点の順序や座標系の選択に対して不変性を保つために必要なアーキテクチャ的要素は何か？
• RQ5 提案手法は、複雑で周期的でない流れ領域において、従来のPDEベースの閉じ込めモデルに比べ、どの程度精度とロバスト性で優れているか？

主な発見

• 提案されたベクトルクラウドニューラルネットワークは、不変な操作の合成によりフレーム不変性を達成し、平行移動、回転、点の順序に不変であることを保証する。
• 本モデルは、パラメータ化された周期的ヒル幾何形状の族において、スカラー輸送PDEの閉じ込め変数を高い精度で予測する。グリッド品質や流れ条件の変動に対しても同様に高い性能を示す。
• クラウド内の点数に対して線形の計算複雑性を示し、大規模な近隣領域でも効率的な推論が可能である。
• 不変特徴行列 D を通じた空間相関の符号化により、非局所的物理（対流や拡散効果）をアーキテクチャが的確に学習している。
• 異なるパラメータ化された流れ状態にわたって良好な一般化性能を示しており、不規則な領域におけるPDEのスループットモデルとして強い可能性を示している。
• 学習率スケジューリングを用いた訓練プロセスは安定に収束し、複数回の実行および異なる幾何形状において一貫した性能を達成している。