[論文レビュー] Discretization-independent surrogate modeling over complex geometries using hypernetworks and implicit representations

James Duvall, Karthik Duraisamy+1 more|arXiv (Cornell University)|Sep 14, 2021

Advanced Multi-Objective Optimization Algorithms被引用数 8

ひとこと要約

本稿では、ハイパーネットワークとインクリメント表現を用いて、複雑な幾何形状上でのPDE解に対する離散化に依存しないサーモグラフモデルを提案する。幾何形状は最小距離関数によって符号化され、設計変数はハイパーネットワークの入力として扱われる。この手法により、任意のメッシュ上で連続的かつ点単位の予測が可能となり、設計変数ハイパーネットワーク（DV-Hnet）を用いることで、相対誤差3–10%の範囲で航空力学的流れの予測において最先端の精度を達成した。

ABSTRACT

Numerical solutions of partial differential equations (PDEs) require expensive simulations, limiting their application in design optimization, model-based control, and large-scale inverse problems. Surrogate modeling techniques seek to decrease the computational expense while retaining dominant solution features and behavior. Traditional Convolutional Neural Network-based frameworks for surrogate modeling require lossy pixelization and data-preprocessing, and generally are not effective in realistic engineering applications. We propose alternative deep-learning based surrogate models for discretization-independent, continuous representations of PDE solutions, which can be used for learning and prediction over domains with complex, variable geometry and mesh topology. Three methods are proposed and compared; design-variable-coded multi-layer perceptron (DV-MLP), design-variable hypernetworks (DV-Hnet), and non-linear independent dual system (NIDS). Each method utilizes a main network which consumes pointwise spatial information to provide a continuous representation, allowing predictions at any location in the domain. Input features include a minimum-distance function evaluation to implicitly encode the problem geometry. The geometric design variables, which define and distinguish problem instances, are used differently by each method, appearing as additional main-network input features (DV-MLP), or as hypernetwork inputs (DV-Hnet and NIDS). The methods are applied to predict solutions around complex, parametrically-defined geometries on non-parametrically-defined meshes with model predictions obtained many orders of magnitude faster than the full order models. Test cases include a vehicle-aerodynamics problem with complex geometry and limited training data, with a design-variable hypernetwork performing best, with a competitive time-to-best-model despite a much greater parameter count.

研究の動機と目的

• 工学的設計および最適化における高精度PDEシミュレーションの計算ボトルネックを解消すること。
• 固定グリッドを必要とし、メッシュ依存の前処理に苦しむ従来のCNNベースのサーモグラフモデルの限界を克服すること。
• 変動する幾何形状および任意のメッシュトポロジを有する領域において、PDE解場の正確で連続的な予測を可能にすること。
• モデルサイズおよびメモリを解場の自由度から分離するフレームワークを構築し、スケーラブルで一般化可能な推論を支援すること。
• 限られた訓練データのもとで、車両の空力的特性など複雑で現実的な応用において優れた性能を示すこと。

提案手法

• 空間的点ごとに評価される最小距離関数（MDF）を用いて、明示的なメッシュ依存性を回避した複雑な幾何形状の暗黙的符号化を行う。
• 空間座標とMDF値を入力特徴量として用い、主なニューラルネットワークを訓練してPDE解を予測する。
• 3つのアーキテクチャを導入する：DV-MLP（設計変数を直接入力）、DV-Hnet（設計変数をハイパーネットの入力として、主ネットワークの重みを生成）、NIDS（ハイパーネットが出力層の重みのみを生成）。
• ハイパーネットを用いて設計変数に応じてモデルパラメータを条件付きで生成することで、幾何的変化に一般化可能なモデルを実現する。
• 元のPDE作用素を明示的に参照せず、FOM解をラベルとして、エンドツーエンドにモデルを訓練する。
• ハイパーネットの訓練不安定性を軽減しつつ、高速収束を維持するため、混合精度訓練を用いる。

実験結果

リサーチクエスチョン

• RQ1 ハイパーネットベースのサーモグラフモデルは、メッシュ依存性のない条件下で、パラメトリックに変化する複雑な幾何形状上でのPDE解の正確で連続的な予測を達成できるか？
• RQ2 設計変数の直接入力とハイパーネットベースのパrameter生成という、異なるアーキテクチャ的選択が、モデルの精度および訓練効率にどのように影響するか？
• RQ3 最小距離関数による暗黙的幾何符号化は、サーモグラフモデリングにおいて、明示的なメッシュ表現をどれだけ代替できるか？
• RQ4 車両の空力的特性のような高次元で複雑な工学的問題において、限られた訓練データのもとでモデル性能はどのようにスケーリングするか？
• RQ5 ハイパーネットベースのPDEサーモグラフモデリングにおいて、モデルの精度、パrameter数、および訓練時間の間にはどのようなトレードオフが存在するか？

主な発見

• 2次元RANS空力的流れ問題において、設計変数ハイパーネット（DV-Hnet）はDV-MLPおよびNIDSと比較して、約2倍低いRMSEおよびMAEを達成した。
• 顕著に多くのパラメータを有するにもかかわらず、DV-Hnetはより少ないエポックで収束し、他の手法と比較してはるかに早い最良モデル到達時間となった。
• 圧力場では4%未満の相対誤差、x方向速度では3%未満、y方向速度では10%をわずかに超える相対誤差でFOM解を予測し、主な流れの特徴が良好に捉えられていた。
• すべてのモデルが未学習の幾何形状に対しても良好に一般化しており、2次元ポアソン問題において、訓練および検証のRMSEは約0.2、MAEは約0.1であり、平均相対誤差は約0.1%に相当した。
• 三角形幾何形状では誤差が高くなったが、これは設計変数の表現が不十分で、MDFが鋭いコーナーを捉えきれていない可能性によるものと考えられる。
• ラインプローブおよび等高線プロットから、予測にわずかな振動が見られたが、予測とFOM解との視覚的差異は一般的に小さく、目立たないものであった。