[論文レビュー] Applying Convolutional Neural Networks to Data on Unstructured Meshes with Space-Filling Curves

Claire E. Heaney, Yuling Li+2 more|arXiv (Cornell University)|Nov 24, 2020

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本論文は、空間充填曲線（SFCs）を用いて非構造格子のノードまたはセルを1次元配列に再順序することで、古典的1次元畳み込みニューラルネットワーク（CNNs）を非構造格子データに直接適用する新規手法を提案する。この手法により、非構造格子上の有限要素メッシュを用いた複雑な流体動力学的解の高精度な圧縮と再構成が可能となり、構造格子上での古典的CNNと同等の性能を維持する。さらに、複数のSFCとスパーススムージング層を用いることで、より高いロバスト性が得られる。

ABSTRACT

This paper presents the first classical Convolutional Neural Network (CNN) that can be applied directly to data from unstructured finite element meshes or control volume grids. CNNs have been hugely influential in the areas of image classification and image compression, both of which typically deal with data on structured grids. Unstructured meshes are frequently used to solve partial differential equations and are particularly suitable for problems that require the mesh to conform to complex geometries or for problems that require variable mesh resolution. Central to the approach are space-filling curves, which traverse the nodes or cells of a mesh tracing out a path that is as short as possible (in terms of numbers of edges) and that visits each node or cell exactly once. The space-filling curves (SFCs) are used to find an ordering of the nodes or cells that can transform multi-dimensional solutions on unstructured meshes into a one-dimensional (1D) representation, to which 1D convolutional layers can then be applied. Although developed in two dimensions, the approach is applicable to higher dimensional problems. To demonstrate the approach, the network we choose is a convolutional autoencoder (CAE) although other types of CNN could be used. The approach is tested by applying CAEs to data sets that have been reordered with an SFC. Sparse layers are used at the input and output of the autoencoder, and the use of multiple SFCs is explored. We compare the accuracy of the SFC-based CAE with that of a classical CAE applied to two idealised problems on structured meshes, and then apply the approach to solutions of flow past a cylinder obtained using the finite-element method and an unstructured mesh.

研究の動機と目的

• 流体力学（CFD）で一般的に用いられる非構造格子（有限要素または制御体積格子）上のデータに、構造的でないため従来のCNNと互換性のない古典的畳み込みニューラルネットワーク（CNNs）を直接適用可能にする。
• 補間ベースやグラフベースの代替手法の限界を克服するため、空間局所性と接続性を保持した1次元表現に非構造格子データを変換する。
• 特に、適応的で非構造格子上のナビエ＝ストークス方程式の解の圧縮および再構成を目的とした、SFCベースのCNNの性能を評価する。
• 自己符号化器アーキテクチャにおいて、複数のSFCとスパーススムージング層が再構成精度とノイズ低減に与える影響を調査する。
• 時間依存的で適応的かつ3次元問題への応用の基盤を確立する。これには、トランスファー学習やメッシュ補間の可能性も含む。

提案手法

• 空間充填曲線（SFCs）を用いて、非構造格子の全ノードまたはセルをエッジ数を最小限に抑えつつ、各ノードが一度だけ訪問されるパスで走査し、2次元または3次元格子データを1次元配列に変換する。
• 再順序された1次元データを1次元畳み込み自己符号化器（CAE）に供給することで、非構造格子解に標準的なCNN層を直接適用可能にする。
• 表現品質の向上を図るため、複数のSFCを検討し、異なる順序付けが異なる空間的特徴を捉える可能性があるという考えを採用する。
• 自己符号化器の入力および出力にスパース層を導入し、ノイズ低減と再構成忠実度の向上を図る。
• ストレージの圧縮比やノイズレベルを評価するため、構造格子および非構造格子データの両方でSFCベースのCAEと古典的CAEの性能を比較して検証する。これには、シリンダー周りの流れのシミュレーションも含む。
• 4次元（3次元空間＋時間）にSFCを適用することで、3次元および時間依存問題への拡張性を設計する。

実験結果

リサーチクエスチョン

• RQ1 空間充填曲線を用いて格子を再順序することで、古典的1次元CNNを非構造格子データに効果的に適用できるか？
• RQ2 複数のSFCを用いることで、非構造格子解の圧縮および再構成における自己符号化器の精度とロバスト性はどのように向上するか？
• RQ3 特に高解像度領域や複雑な幾何形状領域においても、SFCベースのアプローチは、構造格子上に適用した古典的CNNと同等の再構成精度を維持できるか？
• RQ4 自己符号化器の入力および出力に近接するスパーススムージング層は、非構造格子データの再構成品質を向上させ、ノイズを低減できるか？
• RQ5 SFCベースのCNNフレームワークは、時間依存的または適応的メッシュにどの程度拡張可能か。また、メッシュ補間やトランスファー学習の支援にはどう寄与できるか？

主な発見

• SFCベースのCAEは、構造格子データ上での古典的CAEと同等の再構成精度を達成しており、非構造格子に適用した場合でもその有効性が裏付けられている。
• 本手法は、非構造格子上で最大50,000変数の解を、1つの潜在変数まで圧縮しながらも、解の特徴を保持することができた。
• 2つのSFC（SFC2）を用いることで、単一のSFCを用いる場合に比べ再構成精度が向上しており、複数の順序付けが特徴表現を強化していることが示された。
• 入力および出力にスパーススムージング層を設けることで、再構成解のノイズが顕著に低減され、モデルの複雑さを増さずに忠実度が向上した。
• ボックスアンドウィスカープロットから、圧縮比が低下しても誤差範囲の増加は顕著ではなく、極めて低い潜在次元でも安定した性能を示した。
• テスト問題の周期的時間的性質のおかげで、訓練・検証・テストセットのすべてにおいてロバストな性能を示しており、一般化の可能性が示唆された。