[論文レビュー] Neural Smoke Stylization with Color Transfer

Fabienne Christen, Byungsoo Kim+2 more|arXiv (Cornell University)|Dec 18, 2019

Computer Graphics and Visualization Techniques参考文献 17被引用数 3

ひとこと要約

本論文は、運搬に基づくニューラルスタイル転送を2次元および3次元のスモークシミュレーションに拡張するために、構造的流れの特徴を最初に転送し、その後に微分可能カラーレンダラーを用いて色を最適化する、新しい二段階手法を導入している。このアプローチにより、例示的なカラーマップ画像を用いて、一貫性があり時間的に整合性のあるスモークシミュレーションの色のスタイル化が可能となり、空間的・時間的整合性を保ちつつ、高品質でアーティストが制御可能な結果が得られる。

ABSTRACT

Artistically controlling fluid simulations requires a large amount of manual work by an artist. The recently presented transportbased neural style transfer approach simplifies workflows as it transfers the style of arbitrary input images onto 3D smoke simulations. However, the method only modifies the shape of the fluid but omits color information. In this work, we therefore extend the previous approach to obtain a complete pipeline for transferring shape and color information onto 2D and 3D smoke simulations with neural networks. Our results demonstrate that our method successfully transfers colored style features consistently in space and time to smoke data for different input textures.

研究の動機と目的

• 流体シミュレーションにおける既存の運搬に基づくニューラルスタイル転送における色の制御の欠如に対処すること。
• アーティストが例示画像を用いてスモークシミュレーションの形状と色の外観を両方制御できるようにすること。
• 構造的スタイル化と色の最適化を分離する二段階パイプラインを構築し、制御性と整合性を向上させること。
• 微分可能カラーレンダラーを用いて、フレーム間で空間的・時間的整合性を保証すること。

提案手法

• 本手法は二段階パイプラインを用いる：最初に、スタイル画像からスモーク密度への構造的特徴を運搬に基づくニューラルスタイル転送（TNST）で転送する。
• 2番目の段階では、スタイル化された密度に対して標準的なニューラルスタイル転送（NST）を用いて色のスタイル最適化を実行し、コンテンツ損失を用いない一方で、洗い流し効果を防ぐために修正された初期化を採用する。
• スタイル化された密度から得られるガイドマスクを用いて、特徴表現との要素ごとの乗算により、スモークがある領域に最適化を制限する。
• 軌道に沿ったRGB発光値を計算するために、密度を発光要因として組み込み、実際の照明効果を得るための透過率を含む、軽量で微分可能なカラーレンダラーを用いる。
• 特徴の複雑さとスケールを制御するため、VGG-19の層'relu2_1'および'relu3_1'の特徴を用い、タイリングを用いて小スケール構造を生成する。
• パイプライン全体がエンドツーエンド微分可能であり、300イテレーションにわたってAdam最適化手法を用いたバックプロパゲーションによる最適化が可能である。

実験結果

リサーチクエスチョン

• RQ1 2次元および3次元スモークシミュレーションに、既存の流れに基づく手法からの構造的スタイル化を保ちながら、色情報が効果的に転送可能か。
• RQ2 流体シミュレーションのフレーム間で、色のスタイル化をどのようにして時間的に整合性を保つことができるか。
• RQ3 コンテンツ損失を用いない場合に、洗い流し効果を防ぐためにどのような初期化戦略が高品質な色の結果をもたらすか。
• RQ4 最適化がスモーク密度がある領域にのみ影響を与えるように、どのように制限できるか。
• RQ5 軽量な微分可能レンダラーは、過大な計算コストを伴わずに高精細な色のスタイル化をサポートできるか。

主な発見

• 本手法は、2次元および3次元スモークシミュレーションへの入力スタイル画像からの形状および色の特徴の転送に成功し、空間的・時間的整合性を一貫して維持している。
• 色の最適化段階でホワイトノイズを初期化として用いることで、洗い流し効果が防止され、スタイル化された密度単体での初期化よりも視覚的に優れた結果が得られる。
• ガイドマスクは色の最適化をスモーク領域に効果的に制限し、アーティファクトを低減する。最終的なマスク適用により、残留境界オーバーフローが除去される。
• 3次元結果は、微分可能レンダラーを用いたマルチビュー最適化により、2次元結果と同等の品質の整合性のある3次元色のスタイル化が可能であることを示している。
• 単一の例示画像を用いることで、アーティストが構造と色の両方を制御でき、流体シミュレーションにおける芸術的表現の自由度が著しく向上する。