[論文レビュー] Learning to Estimate and Refine Fluid Motion with Physical Dynamics

Mingrui Zhang, Jianhong Wang+2 more|arXiv (Cornell University)|Jun 21, 2022

Advanced Vision and Imaging被引用数 6

ひとこと要約

本稿では、偏微分方程式（PDE）制約付きの光流画像予測器と物理ベースの補正器を組み合わせた教師なし学習フレームワークを提案する。この手法は、流体シミュレーションで用いられる作用素分割法を模倣することで、物理的整合性（特に発散なしの速度場）を強制し、合成ベンチマークで最先端の性能を達成するとともに、真値が入手不可能な実世界の流れに対しても優れた一般化性能を示す。

ABSTRACT

Extracting information on fluid motion directly from images is challenging. Fluid flow represents a complex dynamic system governed by the Navier-Stokes equations. General optical flow methods are typically designed for rigid body motion, and thus struggle if applied to fluid motion estimation directly. Further, optical flow methods only focus on two consecutive frames without utilising historical temporal information, while the fluid motion (velocity field) can be considered a continuous trajectory constrained by time-dependent partial differential equations (PDEs). This discrepancy has the potential to induce physically inconsistent estimations. Here we propose an unsupervised learning based prediction-correction scheme for fluid flow estimation. An estimate is first given by a PDE-constrained optical flow predictor, which is then refined by a physical based corrector. The proposed approach outperforms optical flow methods and shows competitive results compared to existing supervised learning based methods on a benchmark dataset. Furthermore, the proposed approach can generalize to complex real-world fluid scenarios where ground truth information is effectively unknowable. Finally, experiments demonstrate that the physical corrector can refine flow estimates by mimicking the operator splitting method commonly utilised in fluid dynamical simulation.

研究の動機と目的

• 複雑で物理的に整合性のある流体運動を推定する際、標準的な光流画像手法の限界を克服すること。
• 流体動力学に応用された既存の光流画像手法における物理的整合性および時間的整合性の欠如を解消すること。
• 画像観測と物理法則（ナビエ＝ストークス方程式）を統合した学習ベースのフレームワークを構築し、推定精度を向上させること。
• 真値データが入手不可能または実用的でない実世界の状況においても、堅牢な推定を可能にすること。
• データ駆動型光流画像と物理ベースの流体シミュレーションの間のギャップを、予測・補正アーキテクチャによって埋めること。

提案手法

• 非教師あり学習定式化に関連するストークス方程式のオイラー＝ラグランジュ方程式に基づいて導出されたPDE制約付き光流画像ネットワークを初期運動予測器として使用する。
• 予測された速度場と直前の時間ステップの速度場を入力として受け取り、物理的整合性を強制する物理的補正器を設計する。
• 空間微分を近似するために畳み込み層を用いて補正器を実装し、ナビエ＝ストークスの運動量方程式および連続の式の離散化を可能にする。
• 1回の順伝播で発散なし制約と運動量保存を同時に満たすように補正ステップを構造化し、ショーリンの射影法を模倣する。
• 真値の流れ場を必要とせず、画像再構成損失と物理的整合性損失の両方を用いて、教師なしで全システムを訓練する。
• 直前の速度場を補正器に組み込むことで時間情報を活用し、時間的整合性を向上させ、アーチファクトを低減する。

実験結果

リサーチクエスチョン

• RQ1 物理的制約を光流画像予測に統合することで、学習ベースのフレームワークが流体運動推定を改善できるか？
• RQ2 合成データのみで学習した非教師あり手法が、真値が存在しない実世界の流体流れにどの程度一般化できるか？
• RQ3 物理ベースの補正器が、推定された速度場の物理的妥当性と正確性をどの程度向上できるか？
• RQ4 提案された予測・補正方式は、流体力学における既存の数値的手法（作用素分割法）を効果的に模倣できるか？
• RQ5 複雑な流れのケースにおいて、本手法は教師あり学習ベースラインと比べて正確性と頑健性でどの程度優れているか？

主な発見

• 提案手法は、複雑で乱流的または非一様な流れパターンを示すケースにおいて、合成ベンチマークデータセットで標準的な光流画像手法を上回る性能を示した。
• 非教師あり手法は、同じベンチマークで最先端の教師あり学習手法と比較しても競争力のある結果を達成し、優れた一般化能力を示した。
• 物理的補正器は、推定された速度場の発散なし性を顕著に向上させ、非圧縮性ナビエ＝ストークス方程式により近づけた。
• 真値が存在しない実世界の流体流れのシーケンスにおいて、本手法は視覚的および物理的に妥当な速度場を生成し、オープンソースのPIVソフトウェアを定量的・定性的に上回った。
• 真値が入手不可能な複雑な実世界のシナリオ（煙、水の流れ、乱流渦など）に対しても、本フレームワークは成功裏に一般化した。
• 補正器の挙動は、数値流体シミュレーションで用いられる作用素分割法に非常に近く、物理的解釈可能性と整合性が裏付けられた。