[論文レビュー] Dynamic Upsampling of Smoke through Dictionary-based Learning

Kai Bai, Wei Li+2 more|arXiv (Cornell University)|Oct 21, 2019

Computer Graphics and Visualization Techniques参考文献 66被引用数 4

ひとこと要約

本論文は、低解像度の煙シミュレーションを高解像度に動的アップサンプリングするための辞書ベースの深層学習手法を提案している。粗い・細かいシミュレーションペアから局所的流れのパッチのスパース表現を学習することで、手続き的ノイズや標準的なニューラルネットワークよりも、より正確に現実的な微細構造の渦を再現し、直接数値シミュレーションに比べて最大100倍速く、ほぼ現実的な結果を得られる。

ABSTRACT

Simulating turbulent smoke flows is computationally intensive due to their intrinsic multiscale behavior, thus requiring relatively high resolution grids to fully capture their complexity. For iterative editing or simply faster generation of smoke flows, dynamic upsampling of an input low-resolution numerical simulation is an attractive, yet currently unattainable goal. In this paper, we propose a novel dictionary-based learning approach to the dynamic upsampling of smoke flows. For each frame of an input coarse animation, we seek a sparse representation of small, local velocity patches of the flow based on an over-complete dictionary, and use the resulting sparse coefficients to generate a high-resolution smoke animation sequence. We propose a novel dictionary-based neural network which learns both a fast evaluation of sparse patch encoding and a dictionary of corresponding coarse and fine patches from a sequence of example simulations computed with any numerical solver. Our upsampling network then injects into coarse input sequences physics-driven fine details, unlike most previous approaches that only employed fast procedural models to add high frequency to the input. We present a variety of upsampling results for smoke flows and offer comparisons to their corresponding high-resolution simulations to demonstrate the effectiveness of our approach.

研究の動機と目的

• 低解像度のシミュレーションから、高解像度で現実的な煙アニメーションを、高価なフル数値解法を用いずに、効率的に生成する課題に対処すること。
• 手続き的ノイズに依存するか、微細構造の再現に物理的整合性に欠ける既存手法の限界を克服すること。
• 少数のトレーニング例からでも、多様な煙の流れの文脈に一般化できる手法を開発すること。これには、元の流れの微小な摂動による再シミュレーションも含む。
• 高解像度のシミュレーションに代わる学習済みアップサンプリングにより、高価な高解像度シミュレーションを置き換え、反復的なアニメーションデザインを高速化すること。

提案手法

• 本手法は、粗い・細かいシミュレーションペアから得られる局所的流れパッチを表現するための、マルチスケールかつ時空間符号化された辞書学習フレームワークを用いる。
• 過剰な辞書を用いて、粗い入力パッチのスパースコーディングを実行する新しいニューラルネットワークを訓練する。
• ネットワークは、辞書パッチの残差のスパース線形結合を組み合わせることで、高解像度の流れ場を再構成する。
• 局所的流れ構造の時間的変化をモデル化するため、位相空間符号化を活用することで、フレーム間の一貫性が向上する。
• 訓練は、任意の数値ソルバーによって生成された粗い・細かいシミュレーションペアを用いるため、異なる流れ構成に一般化可能である。
• 高解像度の出力を、パッチごとに合成し、その後、一貫性ある流れグリッドにブレンドする。この際、辞書設計により発散なしの特性が保持される。

実験結果

リサーチクエスチョン

• RQ1 辞書ベースの学習アプローチは、低解像度入力から乱流煙の流れにおける微細構造の渦を効果的に予測できるか？
• RQ2 このような手法は、一般化された合成、制限付き合成、再シミュレーションを含む多様なアニメーション文脈に、どの程度一般化できるか？
• RQ3 粗い・細かいシミュレーションペアからの学習は、手続き的ノイズベースのアップサンプリングよりも、物理的により正確な結果をもたらすか？
• RQ4 訓練データに存在しない、顕著に異なる幾何構造や高乱流状態の流れに適用した場合、この手法にどのような限界があるか？

主な発見

• 提案手法は、トレーニングデータとは異なる流れ構成からの入力であっても、高解像度の煙アニメーションを、真値の高解像度数値シミュレーションと視覚的に一致させる結果を得た。
• 再シミュレーションタスクでは、微小な摂動に対して、元の流れのダイナミクスを高い忠実度で再現でき、ベースライン手法よりも現実的であることが示された。
• 直接高解像度シミュレーションに比べて最大100倍の高速化を達成しながら、真値に非常に近い視覚的品質を維持した。
• 訓練データに多様なが少ないが、単一オブジェクト、複数オブジェクト、および渦輪衝突などの異なる流れタイプに対しても、良好な一般化性能を示した。
• 粗い入力が高解像度シミュレーションのダウンサンプリングである場合、tempoGANよりも超解像タスクで優れた予測精度を示した。
• 極めて乱流的または幾何的に著しく異なる流れに対しては限界があるものの、ほとんどの実用的状況では、ほぼ非圧縮性を維持し、顕著な視覚的アーチファクトを避けることができた。