[論文レビュー] Neural UpFlow: A Scene Flow Learning Approach to Increase the Apparent Resolution of Particle-Based Liquids

Bruno Roy, Pierre Poulin+1 more|arXiv (Cornell University)|Jun 9, 2021

Computer Graphics and Visualization Techniques参考文献 36被引用数 4

ひとこと要約

本論文では、シーンフロー推定を用いて、粒子ベースの流体シミュレーションの見かけの解像度を向上させる深層学習手法であるNeural UpFlowを提案する。粒子の近隣特徴と変形に配慮した損失関数を活用することで、低解像度入力から高解像度の詳細を推定し、トポロジー整合性を保つ間解像度補間を用いることで、未確認のシミュレーション設定に対しても現実的で一般化性の高い結果を実現する。

ABSTRACT

We present a novel up-resing technique for generating high-resolution liquids based on scene flow estimation using deep neural networks. Our approach infers and synthesizes small- and large-scale details solely from a low-resolution particle-based liquid simulation. The proposed network leverages neighborhood contributions to encode inherent liquid properties throughout convolutions. We also propose a particle-based approach to interpolate between liquids generated from varying simulation discretizations using a state-of-the-art bidirectional optical flow solver method for fluids in addition to a novel key-event topological alignment constraint. In conjunction with the neighborhood contributions, our loss formulation allows the inference model throughout epochs to reward important differences in regard to significant gaps in simulation discretizations. Even when applied in an untested simulation setup, our approach is able to generate plausible high-resolution details. Using this interpolation approach and the predicted displacements, our approach combines the input liquid properties with the predicted motion to infer semi-Lagrangian advection. We furthermore showcase how the proposed interpolation approach can facilitate generating large simulation datasets with a subset of initial condition parameters.

研究の動機と目的

• 高価な高解像度シミュレーションを用いずに、粗い粒子ベースのシミュレーションから高解像度の流体詳細を生成する課題に対処すること。
• SDFに依存するか、複数段階の学習を必要とする従来手法の制限を克服し、直接的に粒子に作用するようにすること。
• 補間フレームワークにキーイベントのトポロジー整合性制約を組み込むことで、未確認のシミュレーション設定への一般化を向上させること。
• 補間を用いて人工的にマルチスケールデータセットを拡張することで、流体シミュレーションにおける機械学習のための効率的なデータ拡張を可能にすること。
• 複数回の推論と近隣ベースの畳み込み符号化により、推論ノイズを低減し、表面品質を向上させること。

提案手法

• 畳み込み演算中に粒子の近隣関係を用いて階層的な流体特性を符号化する深層ニューラルネットワークを提案する。
• Thuerey (2017) が提示した重みを組み込んだ変形に配慮した損失関数を導入し、学習をガイドし収束を加速する。
• 低解像度と高解像度のシミュレーション間のシーンフローを計算するため、流体用の双方向オプティカルフロー解法を採用する。
• シミュレーションの性質を用いて、高解像度の変位を低解像度の粒子にマップする間解像度補間を適用する。
• 特に、スプラッシュのような複雑な特徴周辺で生じる変形フィールドの誤差を是正するため、キーイベントのトポロジー整合性制約を用いる。
• 異なるアップサンプリング距離を用いた複数回の推論パスを実行し、ノイズを低減し、変位後の粒子の出現を防止する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、シーンフロー推定を用いて、低解像度の粒子シミュレーションから高解像度の流体詳細を推定できるか？
• RQ2 SDFの明示的監視なしに、近隣ベースの畳み込みが異なるスケール間で流体特徴をどのように保持できるか？
• RQ3 キーイベントのトポロジー整合性制約が、生成された流体詳細の現実性と正確性をどの程度向上させるか？
• RQ4 提案された補間フレームワークは、未確認のシミュレーション設定にも一般化可能で、妥当な高解像度出力を維持できるか？
• RQ5 変動するアップサンプリング距離を用いた複数回の推論は、最終的な高解像度流体アニメーションの品質とノイズレベルにどのように影響するか？

主な発見

• Neural UpFlowは、低解像度の粒子入力のみを用いても、スプラッシュやクラウンといった小規模および大規模な流体の詳細を正確に再現できる。
• 図18で示されるように、未確認のシミュレーション設定に対しても良好な一般化性能を示しており、その構成に事前に露出していないにもかかわらず、妥当な高解像度の詳細を生成している。
• キーイベントのトポロジー整合性制約により、変形フィールドの正確性が顕著に向上し、細かい詳細の損失を引き起こす誤差が低減された。
• 変動するアップサンプリング距離を用いた複数回の推論により、推論ノイズが低減され、粒子の出現が防止され、滑らかな表面表現が得られた。
• 補間フレームワークにより、限られたマルチスケールシミュレーションデータセットの人工的拡張が効果的に可能になった。
• d=0.5R のサンプリング半径を用いることで、計算コストの増加や結果の劣化を伴わずに最適な詳細再現が達成された。