[論文レビュー] Pre-computed Liquid Spaces with Generative Neural Networks and Optical Flow

Boris Bonev, Lukas Prantl+1 more|arXiv (Cornell University)|Apr 25, 2017

Computer Graphics and Visualization Techniques参考文献 13被引用数 15

ひとこと要約

本稿では、事前に計算された液体の変形場とオプティカルフローを用いて、トポロジーが変化する複雑な液体表面の空間時間表現を学習する二段階のニューラルネットワークフレームワークを提案する。重み付けネットワークと物理に配慮した損失関数を備えた精緻化生成器を活用することで、リアルタイムで変形を考慮した表面合成が可能になる。

ABSTRACT

We propose a novel approach for deformation-aware neural networks that learn the weighting and synthesis of dense volumetric deformation fields. Our method specifically targets the space-time representation of physical surfaces from liquid simulations. Liquids exhibit highly complex, non-linear behavior under changing simulation conditions such as different initial conditions. Our algorithm captures these complex phenomena in two stages: a first neural network computes a weighting function for a set of pre-computed deformations, while a second network directly generates a deformation field for refining the surface. Key for successful training runs in this setting is a suitable loss function that encodes the effect of the deformations, and a robust calculation of the corresponding gradients. To demonstrate the effectiveness of our approach, we showcase our method with several complex examples of flowing liquids with topology changes. Our representation makes it possible to rapidly generate the desired implicit surfaces. We have implemented a mobile application to demonstrate that real-time interactions with complex liquid effects are possible with our approach.

研究の動機と目的

• 時間経過に伴う複雑で非線形な液体変形を高精度で表現する課題に対処すること。
• トポロジーの変化を伴う液体シミュレーションから、即座にインピリット表面を生成可能にする高速なリアルタイム生成を実現すること。
• 変形効果を適切な損失関数と勾配計算を通じて捉える微分可能フレームワークの開発。
• 学習済み変形場を用いたモバイルデプロイメントの可能性を実証すること。

提案手法

• 最初のニューラルネットワークは、初期条件の変化に適応できるように、事前に計算された体積的変形場の集合に対して重み関数を計算する。
• 2番目のニューラルネットワークは、直接的に精緻な変形場を生成し、表面合成を可能にする。
• 本手法は、変形の視覚的および動的効果を符号化した物理に配慮した損失関数を採用しており、学習をガイドする。
• 両ネットワークのエンドツーエンド学習を可能にするために、変形パイプライン全体を通じて勾配が安定して計算される。
• オプティカルフローは、シミュレーションフレーム間の時間的整合性と運動をモデル化するために用いられる。
• フレームワークはエンドツーエンドに訓練され、シミュレーション条件からインピリット液体表面へのマッピングを学習する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、複雑な液体挙動のための密な体積的変形場の重み付けと合成をどのように効果的に学習できるか？
• RQ2 変形を考慮した液体表面生成のための正確で微分可能な監督を可能にする損失関数の設計は何か？
• RQ3 事前に計算された変形場とニューラル精緻化を組み合わせることで、モバイルデバイス上でリアルタイム性能を達成できるか？
• RQ4 本手法は、飛沫や合体などの液体シミュレーションにおけるトポロジーの変化をどの程度適切に処理できるか？

主な発見

• 本手法は、飛沫や合体などのトポロジーの変化を含む、複雑で非線形な液体ダイナミクスを効果的に捉えている。
• 物理に配慮した損失関数の使用により、生成された表面の視覚的忠実度と一貫性が顕著に向上した。
• 安定的で効果的なエンドツーエンド学習を可能にする、堅牢な勾配計算が実現された。
• フレームワークはリアルタイムの推論性能を達成しており、モバイルプラットフォームでのインタラクティブな液体エフェクトの実現が可能になった。