[論文レビュー] Rotational and Reflectional Equivariant Convolutional Neural Network for data-limited applications: Multiphase Flow demonstration

B. Siddani, S. Balachandar+1 more|arXiv (Cornell University)|Aug 7, 2021

Model Reduction and Neural Networks参考文献 49被引用数 24

ひとこと要約

本稿では、粒子を含む多相流の流れ予測において、3次元回転および反転対称性を強制することで、データが限られる状況下でも一般化性能を著しく向上させるSE(3)-等長畳み込みニューラルネットワーク（CNN）を提案する。ネットワークアーキテクチャにSO(3)対称性を直接埋め込むことで、標準CNNやデータ拡張ベースラインと比較して、特に訓練データが限られる状況下でも高い精度を達成し、パラメータ数を削減するとともに、対称性制約による暗黙的なデータ拡張が可能になる。

ABSTRACT

This article deals with approximating steady-state particle-resolved fluid flow around a fixed particle of interest under the influence of randomly distributed stationary particles in a dispersed multiphase setup using Convolutional Neural Network (CNN). The considered problem involves rotational symmetry about the mean velocity (streamwise) direction. Thus, this work enforces this symmetry using $\mathbf{ extbf{SE(3)-equivariant}}$, special Euclidean group of dimension 3, CNN architecture, which is translation and three-dimensional rotation equivariant. This study mainly explores the generalization capabilities and benefits of SE(3)-equivariant network. Accurate synthetic flow fields for Reynolds number and particle volume fraction combinations spanning over a range of [86.22, 172.96] and [0.11, 0.45] respectively are produced with careful application of symmetry-aware data-driven approach.

研究の動機と目的

• 限られた訓練データ下でのデータ駆動型流れモデルの一般化性能の低さという課題に対処すること。
• データ拡張ではなく、アーキテクチャ設計による方法で、粒子解像度を持つ多相流に内在する回転および反転対称性を強制すること。
• 対称性に配慮したニューラルネットワークが、速度場および圧力場のより正確で統計的に一貫性のある予測をもたらすことを示すこと。
• データが限られる状況下で、SE(3)-等長ネットワークが標準CNNよりも少ないトレーニング可能なパラメータ数で一般化性能を向上させることを示すこと。
• 定常状態の粒子解像度直接数値シミュレーション（PR-DNS）を用いて、レイノルズ数や粒子体積分率が異なる条件下で手法を検証すること。

提案手法

• 本研究では、並進に対して不変で、3次元回転および反転（SO(3)群）に対して等長であるSE(3)-等長畳み込みニューラルネットワークアーキテクチャを採用する。
• ネットワークは、局所的な粒子位置と流れパラメータを入力として用い、基準粒子の周囲の全速度場および圧力場を予測するように訓練される。
• 空間微分（例：速度勾配）は、固定カーネルを備えた畳み込み層として実装された2次中央差分ステンシルを用いて計算される。
• 損失関数には、予測された流れ場とDNSから得られた流れ場（およびその導関数）との間の正規化平均二乗誤差（NMSE）が含まれる。
• 対称性の強制は、ネットワークの中間層におけるSO(3)の既約表現を用いることで達成され、回転および反転の下でも一貫した変換挙動が保証される。
• 複数のテストケースにおいて、標準3次元CNNおよび回転／反転された訓練サンプルを用いたデータ拡張CNNと比較される。

実験結果

リサーチクエスチョン

• RQ1 限られたデータ下で、SE(3)-等長CNNは標準的およびデータ拡張CNNを上回る流れ場予測性能を示すか？
• RQ2 アーキテクチャ的に強制された回転および反転対称性は、流れ予測の統計的整合性をどの程度向上させるか？
• RQ3 訓練データが限られる状況下で、対称性の強制はデータ駆動モデルの一般化能力にどのように影響するか？
• RQ4 入力が標準軸系からわずかに回転させられた場合でも、SE(3)-CNNは予測された流れ場において対称性の性質を保持するか？
• RQ5 SE(3)-CNNは、標準CNNと比較して少ないトレーニング可能なパラメータ数で高い精度を達成できるか？

主な発見

• SE(3)-CNNは、すべてのテストケースにおいて、速度勾配を含む流れ場のすべての成分について、最小の正規化平均二乗誤差（NMSE）を達成した。
• ケース1では、SE(3)-CNNの∂p′/∂xのNMSEは0.2272であったのに対し、データ拡張CNNおよびシンプルCNNはそれぞれ0.2549および0.2593であった。
• SE(3)-CNNでは、横方向の微分∂p′/∂yおよび∂p′/∂zのNMSEがほぼ同一（0.3277および0.3276）であり、強い統計的対称性の保持が示された。
• データが少ない状況（20未満の訓練サンプル）では、SE(3)-CNNは対称性に一貫した予測を維持したが、データ拡張およびシンプルCNNは顕著に高い対称性誤差を示した。
• SE(3)-CNNは、対称性制約による暗黙的データ拡張のおかげで、限られたデータ下でも優れた一般化性能を示し、高い精度を達成した。
• モデルの中間層は自然にSO(3)の既約表現を表現しており、解釈可能で物理的に整合性のある流れ予測が可能になった。