[論文レビュー] Unsupervised Learning of Particle Image Velocimetry

Mingrui Zhang, Matthew D. Piggott|arXiv (Cornell University)|Jul 28, 2020

Advanced Vision and Imaging参考文献 19被引用数 7

ひとこと要約

本論文は、光度的損失、整合性損失、滑らかさ損失を活用して、教師なしの深層学習アプローチを粒子画像速度計測（PIV）に初めて適用した。この手法は、教師データを一切必要とせず、密な速度場を推定する。従来のPIV手法および教師あり手法と比較して、乱流や複雑な流れのような困難な流れ状況でも優れた性能を発揮する。

ABSTRACT

Particle Image Velocimetry (PIV) is a classical flow estimation problem which is widely considered and utilised, especially as a diagnostic tool in experimental fluid dynamics and the remote sensing of environmental flows. Recently, the development of deep learning based methods has inspired new approaches to tackle the PIV problem. These supervised learning based methods are driven by large volumes of data with ground truth training information. However, it is difficult to collect reliable ground truth data in large-scale, real-world scenarios. Although synthetic datasets can be used as alternatives, the gap between the training set-ups and real-world scenarios limits applicability. We present here what we believe to be the first work which takes an unsupervised learning based approach to tackle PIV problems. The proposed approach is inspired by classic optical flow methods. Instead of using ground truth data, we make use of photometric loss between two consecutive image frames, consistency loss in bidirectional flow estimates and spatial smoothness loss to construct the total unsupervised loss function. The approach shows significant potential and advantages for fluid flow estimation. Results presented here demonstrate that our method outputs competitive results compared with classical PIV methods as well as supervised learning based methods for a broad PIV dataset, and even outperforms these existing approaches in some difficult flow cases. Codes and trained models are available at https://github.com/erizmr/UnLiteFlowNet-PIV.

研究の動機と目的

• 現実の流体流れ推定において、信頼できる教師データの入手困難さという課題に対処すること。
• アノテーション付き学習データを必要としない深層学習ベースのPIV手法を開発し、複雑な現実世界のシナリオへの一般化を可能にすること。
• 教師なし学習が、多様な流れ条件下で教師ありおよび従来のPIV手法と同等またはそれを上回る性能を達成できるかどうかを検証すること。
• 光度的損失、整合性損失、滑らかさ損失の組み合わせが、教師なしフレームワークにおける速度場推定にどの程度寄与するかを評価すること。

提案手法

• 本手法は、教師なし学習に基づき、LiteFlowNetを改変した軽量な流れネットワーク、UnLiteFlowNet-PIVを用いる。
• 総損失関数は、3つの成分を組み合わせている：光度的損失（予測された流れを用いて第二画像をワープした結果と基準画像との間の強度差を最小化）、整合性損失（前向きおよび後向きの流れ予測が互いに逆転するように制約）、空間的滑らかさ損失（滑らかな速度場を促進）。
• 光度的損失は、予測された流れを用いて第二画像をワープした結果と基準画像との間のL1ノルムとして計算される。
• 整合性損失は、前向きおよび後向きの流れ予測が互いに逆転することを保証し、モデルのロバスト性を向上させる。
• 滑らかさ損失は、予測された流れ場における大きな空間的勾配をペナルティ処理することで、物理的に妥当な流れを維持する。
• モデルは、教師データとしての速度アノテーションを一切使用せず、PIVシーケンスの画像ペアのみを用いてエンド・ツー・エンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 教師なし深層学習フレームワークは、教師データとしての速度データに依存せずに、競争力のあるPIV性能を達成できるか？
• RQ2 損失関数の各成分（光度的損失、整合性損失、滑らかさ損失）は、モデル性能にどのように寄与しているか？
• RQ3 教師データが入手不可能な複雑な流れや現実世界の流れ状況において、教師なしアプローチは教師あり手法よりも一般化性能に優れているか？
• RQ4 どのような流れ状況下で、教師なし手法が従来のPIVおよび教師あり深層学習ベースラインを上回るか？

主な発見

• 提案手法は、Back-Step、Cylinder、JHTDB、DNS、SQGデータセットにおいて、それぞれ100ピクセルあたり10.1、7.8、9.6、13.5、19.7ピクセルの平均エンドポイント誤差（AEE）を達成し、従来のWIDIMおよびHorn-Schunck手法を上回った。
• SQGおよびDNSという困難なデータセットにおいて、本教師なし手法は、PIV-LiteFlowNet-en（最先端の教師ありモデル）を含む、すべての教師ありベースラインを下回るAEEを達成した。
• アブレーションスタディの結果、整合性損失または滑らかさ損失を削除すると、性能が著しく低下することが確認され、損失関数における両者の重要性が裏付けられた。
• 完全な損失関数（$L_P + L_S + L_C$）が最良のテスト性能を発揮し、Back-StepではAEEが10.1、SQGでは19.7を記録した。これにより、損失関数の統合設計の有効性が示された。
• 本手法は、乱流や大規模な変位が生じるような複雑な流れに対しても、良好な一般化性能を示した。これは、教師ありモデルがドメインシフトの影響を受けるのとは対照的である。
• 本教師なしアプローチは、すべてのデータセットで競争力ある結果を達成しており、高レイノルズ数や複雑な流れ構造を有するデータセットに対しても、教師データを一切必要としない。