[論文レビュー] FLUID-LLM: Learning Computational Fluid Dynamics with Spatiotemporal-aware Large Language Models

Max Zhu, Adrián Bazaga+1 more|arXiv (Cornell University)|Jun 6, 2024

Topic Modeling被引用数 5

ひとこと要約

FLUID-LLM は事前学習済みの LLM を時空エンコーダ/デコーダと組み合わせて非定常流体力学を予測し、標準ベンチマークで CFD の予測精度を向上させる。

ABSTRACT

Learning computational fluid dynamics (CFD) traditionally relies on computationally intensive simulations of the Navier-Stokes equations. Recently, large language models (LLMs) have shown remarkable pattern recognition and reasoning abilities in natural language processing (NLP) and computer vision (CV). However, these models struggle with the complex geometries inherent in fluid dynamics. We introduce FLUID-LLM, a novel framework combining pre-trained LLMs with spatiotemporal-aware encoding to predict unsteady fluid dynamics. Our approach leverages the temporal autoregressive abilities of LLMs alongside spatial-aware layers, bridging the gap between previous CFD prediction methods. Evaluations on standard benchmarks reveal significant performance improvements across various fluid datasets. Our results demonstrate that FLUID-LLM effectively integrates spatiotemporal information into pre-trained LLMs, enhancing CFD task performance.

研究の動機と目的

• 流体力学タスクにおいて事前学習済み LLM を活用して CFD 計算コストを削減する動機づけ。
• 高次元 CFD データを扱うために時空エンコーディング方式とパッチベースのトランスフォーマーフレームワークを導入する。
• 状態差分を予測するために GNN ベースのグリッドデコーダを用いた自己回帰 LLM に基づく予測を実証する。
• 標準 CFD データセットで MeshGraphNets および他のベースラインと比較評価する。

提案手法

• 2D CFD 状態を LLM の特徴空間に変換するパッチベースのエンコーダ。
• パッチ埋め込みに x, y, および time 座標を注入する時空埋め込み。
• ファインチューニング済み LLM がエンコードされた埋め込みを自己回帰的に処理。
• LLM の出力を 16x16 パッチにマッピングし、GNN で集約して状態差分を予測するグリッドベースのデコーダ。
• エンドツーエンドの自己回帰設定を用い、DoRA による LLM のファインチューニングと MSE/MAE 損失のバランスを取った訓練。
• Cylinder および Airflow データセットで複数の予測視界にわたる RMSE を用いて評価。

実験結果

リサーチクエスチョン

• RQ1 時空埋め込みを備えた事前学習済み LLM は歴史的スナップショットから非定常 CFD 状態を正確に予測できるか？
• RQ2 LLM のサイズと事前学習を大きくすることが、単純な流れと複雑な流れの CFD 予測精度にどのように影響するか？
• RQ3 インコンテキスト学習と少数ショット学習が、未見の CFD パラメータ空間への一般化と適応を促進するか？
• RQ4 正確な状態予測を達成する上で、GNN ベースのデコーダと LLM の寄与度はどの程度か？

主な発見

方法	Cylinder (N=1)	Cylinder (N=50)	Cylinder (N=100)	Cylinder (N=150)	Airflow (N=1)	Airflow (N=50)	Airflow (N=100)	Airflow (N=150)
DilResNet	0.004	0.084	2.248	N/A	0.011	0.266	8.711	N/A
GAT2Conv	0.004	0.070	0.117	0.127	0.011	0.776	2.796	N/A
MeshGraphNets	0.003	0.038	0.058	0.076	0.011	0.224	0.550	0.958
Random-OPT125m	0.029	0.040	0.072	0.105	0.014	0.284	0.609	0.822
FLUID-OPT125m (ours)	0.002	0.031	0.062	0.102	0.011	0.201	0.411	0.716
FLUID-OPT2.7b (ours)	0.002	0.023	0.041	0.059	0.007	0.118	0.259	0.457

• FLUID-OPT2.7b は Cylinder および Airfoil データセットの各予測 horizons で一貫してベースラインを上回る。
• 125M から 2.7B パラメータへ増加させると、Cylinder の 150 ステップで RMSE が約 42% 減少（同じエンコーダ/デコーダで）。
• Airfoil データセットでは、FLUID-OPT2.7b は MeshGraphNets と比較して 150 ステップで約 48% 低い RMSE を達成。
• インコンテキスト履歴は控えめな改善を提供（例：固定タスク設定で context を 1 から 6 に増やした場合 RMSE が約 3% 減少）。
• 小型の FLUID-OPT125m は短いシーケンスで事前学習の恩恵を受ける; 大型の FLUID-OPT2.7b は長いホライズンをより明確な予測で扱う。
• DilResNet および GAT2Conv は長い horizon で不安定性を示す一方、FLUID-OPT2.7b は長期予測の精度を維持する。）