[論文レビュー] StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions

Lukas Höllein, Justin C. Johnson+1 more|arXiv (Cornell University)|Dec 2, 2021

Computer Graphics and Visualization Techniques被引用数 1

ひとこと要約

本稿では、複数の視点画像から得られる深度および視点方向に敏感な損失を用いて、再構築された屋内3Dメッシュに対して3D一貫性のあるスタイル転送を実現するStyleMeshを提案する。最適化プロセスでメッシュの深度と表面法線を活用することで、アーティファクトを伴わず、視点に依存しないシャープなスタイル化を達成し、従来のグラフィックスパイプラインでリアルタイムレンダリングが可能になる。

ABSTRACT

We apply style transfer on mesh reconstructions of indoor scenes. This enables VR applications like experiencing 3D environments painted in the style of a favorite artist. Style transfer typically operates on 2D images, making stylization of a mesh challenging. When optimized over a variety of poses, stylization patterns become stretched out and inconsistent in size. On the other hand, model-based 3D style transfer methods exist that allow stylization from a sparse set of images, but they require a network at inference time. To this end, we optimize an explicit texture for the reconstructed mesh of a scene and stylize it jointly from all available input images. Our depth- and angle-aware optimization leverages surface normal and depth data of the underlying mesh to create a uniform and consistent stylization for the whole scene. Our experiments show that our method creates sharp and detailed results for the complete scene without view-dependent artifacts. Through extensive ablation studies, we show that the proposed 3D awareness enables style transfer to be applied to the 3D domain of a mesh. Our method can be used to render a stylized mesh in real-time with traditional rendering pipelines.

研究の動機と目的

• 2D画像ベースの手法にとどまらず、神経スタイル転送を用いて再構築された3D屋内シーンの芸術的スタイル化を可能にすること。
• 2Dベースの3Dスタイル化で一般的に見られる、視点依存のアーティファクト（例：引き伸ばされた、一貫性のないサイズのパターン）を解消すること。
• 3Dジオメトリ（深度と表面法線）を活用して、ワールドスペースの一貫性のあるスタイル化を導くテクスチャ最適化を実現すること。
• 従来のグラフィックスパイプラインと統合可能な明示的でレンダラブルなテクスチャを生成し、リアルタイムVRレンダリングを可能にすること。
• 深度の知覚を保持し、視覚的歪みや透視変形によるノイズや歪みを回避する高品質なスタイル化を達成すること。

提案手法

• 複数のカメラビューからのスタイル転送損失を逆誤差伝搬可能にする微分可能レンダリングパイプラインを用いて、3Dメッシュの1つの明示的RGBテクスチャを最適化する。
• 深度に敏感な損失分割を実装し、深度に応じてスクリーンスペースの解像度を変化させた画像パッチをレンダリングすることで、ワールドスペースにおける一貫したスタイル化パターンサイズを確保する。
• 表面法線と視点方向の角度に基づいて重み付けされたスタイル損失を適用することで、より良い視点での角度で詳細を精緻化する角度に敏感なスタイル化を実現する。
• ピixe単位の深度および角度重みを用いてバックプロパゲーション中の勾配をスケーリングし、量子化アーティファクトを低減し、滑らかさを向上させる。
• 複数のスタイル画像解像度からのグラム行列を計算することで、粗いから細かい段階へのスタイル化を可能にし、斜めの視点では粗い詳細を適用する。
• コンテンツ損失、スタイル損失、および深度/角度に敏感な正則化項を含む組み合わせ損失関数を最小化することで、忠実性と芸術的一貫性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 2Dニューラルスタイル転送を、視点依存のアーティファクトを伴わず、再構築された屋内3Dメッシュに対して3D一貫性のあるスタイル化を実現するために適応可能か？
• RQ2 深度および表面法線情報をどのように活用すれば、異なる視点でのスタイル化パターンが一貫したサイズと形状を保つことができるか？
• RQ3 角度に敏感な最適化は、3Dメッシュ上の通常の2Dスタイル転送と比較して、視覚的品質および一貫性を向上させるか？
• RQ4 得られたスタイル化テクスチャは、従来のグラフィックスパイプラインを用いてリアルタイムでレンダリング可能か？
• RQ5 本手法は、既存の3Dスタイル転送および動画スタイル転送のベースラインと定量的および定性的に比較して、どのように優れているか？

主な発見

• 提案された深度に敏感な最適化により、透視変形による引き伸ばしアーティファクトを回避し、ワールドスペースにおいて一貫したサイズのスタイル化パターンが実現された。
• 角度に敏感なスタイル化により、斜めの視点では粗い詳細を適用し、良好な視点では詳細を精緻化することで、視覚的一致性が向上した。
• ユーザースタディーの結果、85%の参加者が本手法がストレッチの可視性を低減し、背景のパターンサイズを小さくする点でベースラインを上回っていると評価した。
• RGBテクスチャに適用された動画スタイル転送パイプラインと比較して、本手法はぼやけやフレーム間の不一致に起因するノイズを回避し、よりシャープで詳細なスタイル化を達成した。
• 単一のRTX 3090 GPUで3時間の最適化を経て得られたテクスチャは、従来のグラフィックスパイプラインを用いてリアルタイムレンダリングが可能であり、推論時の順伝播が必要なモデルベースの手法とは異なり、効率的である。
• アブレーションスタディーにより、深度および角度に敏感な情報の両方が3D一貫性を確保するために不可欠であることが確認され、いずれかのコンponentを除去すると、明確なアーティファクトと知覚的劣化が生じた。