[論文レビュー] tempoGAN: A Temporally Coherent, Volumetric GAN for Super-resolution Fluid Flow

You Xie, Erik Franz+2 more|arXiv (Cornell University)|Jan 29, 2018

Advanced Image Processing Techniques参考文献 51被引用数 80

ひとこと要約

tempoGAN は、時系列的一貫した条件付き GAN を用いて、流体流の瞬時の4次元超解像を実現する。新規の時系列判別器と物理認識を備えた拡張を使用する。

ABSTRACT

We propose a temporally coherent generative model addressing the super-resolution problem for fluid flows. Our work represents a first approach to synthesize four-dimensional physics fields with neural networks. Based on a conditional generative adversarial network that is designed for the inference of three-dimensional volumetric data, our model generates consistent and detailed results by using a novel temporal discriminator, in addition to the commonly used spatial one. Our experiments show that the generator is able to infer more realistic high-resolution details by using additional physical quantities, such as low-resolution velocities or vorticities. Besides improvements in the training process and in the generated outputs, these inputs offer means for artistic control as well. We additionally employ a physics-aware data augmentation step, which is crucial to avoid overfitting and to reduce memory requirements. In this way, our network learns to generate advected quantities with highly detailed, realistic, and temporally coherent features. Our method works instantaneously, using only a single time-step of low-resolution fluid data. We demonstrate the abilities of our method using a variety of complex inputs and applications in two and three dimensions.

研究の動機と目的

• 単一の低解像度スナップショットから、高解像度で時系列的一貫性のある4D流体場を生成するという課題に対処する。
• 推論時に時系列データを必要とせず、GAN ベースの超解像を四次元の物理問題へ進化させる。
• 物理的認識と入力の絡みつきを取り入れ、リアリズムと出力のユーザ制御性を向上させる。
• 2Dおよび3Dの流れシナリオで効果を実証し、物理ベースのGANのトレーニングに関するベストプラクティスを提供する。

提案手法

• 単一の低解像度フレームから3D高解像度の流量量を推定するために、条件付き GAN アーキテクチャを使用する。
• 時間発展を取り入れた3フレームの系列を評価する新規の時系列判別器 D_t を導入し、時間的一貫性を強制する。
• 入力 x と出力 G(x) に対して現実的な空間的細部を保証する空間判別器 D_s を組み込む。
• 判別器の活性化を用いた特徴空間損失を適用し、生成器を現実的な特徴へ導く（特定の設定で負の重みの驚くべき利点を含む）。
• 物理認識データ増強のステップを含め、過学習を減らしメモリ要件を管理して、移動ベースの流れへの汎化を支援する。
• トレーニング中にアドベクション層を用いて近似的な速度場によって複数フレームの入力を整列させ、適切な時間勾配を可能にする。

実験結果

リサーチクエスチョン

• RQ1 単一の低解像度スナップショットから高解像度で時系列的一貫性のある4D流体流を生成する生成モデルは作成できるか。
• RQ2 時間判別子を追加すると、フレームごとに生成するGANと比較して生成流の時間的整合性が向上するか。
• RQ3 物理情報を含む入力（例：速度、渦度）とデータ増強が、生成流のリアリズムと制御性にどのように影響するか。
• RQ4 物理ベースのGANにおいて、空間的ディテールと時間的一貫性のバランスを最もよく取るトレーニング戦略と損失成分は何か。

主な発見

• 時間判別器は、時間を通じて時系列的一貫性があり詳細な流れ場を生成できるよう生成器を可能にする。
• 速度と渦度を入力として取り入れることは、リアリズムと出力の美的制御の両方を提供する。
• 物理認識データ増強は、過学習を防ぎ、トレーニング時のメモリ使用を削減するために重要だ。
• 組み合わさった tempoGAN の目的は、単一の低解像度フレームから推定される非常に詳細で時間的に滑らかな4D流れ場を生み出す。
• このアプローチは、インスタント推論（一つの時間ステップ）を伴う2Dおよび3Dの流体問題で実証されている。