[論文レビュー] ARF: Artistic Radiance Fields

Kai Zhang, Nick Kolkin+5 more|arXiv (Cornell University)|Jun 13, 2022

Computer Graphics and Visualization Techniques被引用数 7

ひとこと要約

ARFは、放射場を用いて2次元のスタイル画像から3次元シーンへアーティスティックな特徴を転送する、革新的な3次元スタイライゼーション手法を提案する。細かいディテールや筆致を保持するため、最近傍特徴マッチング（NNFM）損失を採用し、グラム行列ベースの損失よりも優れた性能を発揮する。また、遅延バックプロパゲーションを用いることで、メモリ使用量を削減しつつ、フル解像度のスタイル損失最適化を可能にし、高精細でビュー一貫性を持つスタイライズドレンダリングを実現する。

ABSTRACT

We present a method for transferring the artistic features of an arbitrary style image to a 3D scene. Previous methods that perform 3D stylization on point clouds or meshes are sensitive to geometric reconstruction errors for complex real-world scenes. Instead, we propose to stylize the more robust radiance field representation. We find that the commonly used Gram matrix-based loss tends to produce blurry results without faithful brushstrokes, and introduce a nearest neighbor-based loss that is highly effective at capturing style details while maintaining multi-view consistency. We also propose a novel deferred back-propagation method to enable optimization of memory-intensive radiance fields using style losses defined on full-resolution rendered images. Our extensive evaluation demonstrates that our method outperforms baselines by generating artistic appearance that more closely resembles the style image. Please check our project page for video results and open-source implementations: https://www.cs.cornell.edu/projects/arf/ .

研究の動機と目的

• 実世界のシーンに対して、アーティスティックなスタイル画像を用いて高精細な3次元スタイライゼーションを実現するとともに、局所的ディテールとマルチビュー一貫性を保持すること。
• メッシュや点群などの幾何的再構成に依存する従来の3次元スタイライゼーション手法の限界を解消すること。特に、複雑なシーンではアーティファクトが生じやすい点を改善すること。
• 既存の3次元スタイライゼーション手法で一般的に用いられるグラム行列ベースの損失が引き起こすぼやけやスタイルディテールの損失を是正すること。
• メモリ集約的な放射場に対して、フル解像度の画像損失を効率的に最適化できる、新しいメモリ効率の良いトレーニング手法を提供すること。
• 専用のカラートランスファーステップと改善された損失設計により、忠実な色合いの一致と高品質なスタイライゼーションを実現すること。

提案手法

• 本手法は、事前に再構築されたフォトリアルな放射場上で最適化問題として3次元スタイライゼーションを定式化し、コンテンツ損失とスタイル損失の両方を最小化する。
• 局所的特徴ベクトルをレンダリング画像から抽出し、それらをスタイル画像のVGG特徴マップ内の最近傍特徴ベクトルにマッチングさせる、最近傍特徴マッチング（NNFM）損失を導入。これにより、局所的ディテールの保持が向上する。
• コンテンツ構造の維持のため、VGGベースの特徴損失を用いる。これにより、スタイライズドシーンが元の幾何構造を忠実に再現する。
• 視覚的忠実度の向上のため、スタイライズドレンダリングの色調を入力スタイル画像に一致させるカラートランスファーテクニックを適用。
• 遅延バックプロパゲーションを提案。フル解像度のVGGベースのスタイル損失を計算しつつ、パッチ単位で勾配をキャッシュ・蓄積することで、GPUメモリ使用量を削減する。
• 本手法はNeRF、Plenoxels、TensoRFを含む複数の放射場表現と互換性があり、広範な適用性を有する。

実験結果

リサーチクエスチョン

• RQ1 複雑な実世界シーンにおいて、メッシュや点群ベースの手法と比較して、放射場ベースのアプローチが優れた3次元スタイライゼーション品質を達成できるか？
• RQ2 最近傍ベースのスタイル損失（NNFM）は、一般的に用いられるグラム行列ベースの損失よりも、筆致などの細かい芸術的ディテールをより効果的に保持できるか？
• RQ3 メモリ集約的な放射場において、過度なGPUメモリ消費を伴わずに、フル解像度のスタイル損失を効率的に最適化できるか？
• RQ4 特徴抽出に用いるVGG層の選択が、スタイライズド3次元レンダリングの品質にどのように影響するか？
• RQ5 カラートランスファーが、スタイライズドレンダリングと入力スタイル画像の間の視覚的一致をどの程度向上させるか？

主な発見

• NNFM損失はグラム行列ベースの損失に比べて、局所的スタイルディテールの保持において顕著に優れており、ぼやけを低減し、よりシャープで忠実なスタイライズドレンダリングを生成する。
• ユーザースタディーの結果、ARFは視覚的品質およびスタイル忠実度の面で、ベースライン手法を常に上回ることが確認された。
• 本手法は、複雑な幾何構造を有するシーンにおいても、複数の視点で一貫性のあるスタイライズドレンダリングを生成する。
• アブレーションスタディーにより、NNFM損失とカラートランスファーステージの両方が高品質な結果を得るために不可欠であることが確認され、いずれかを除去すると顕著な品質低下が生じた。
• 遅延バックプロパゲーションにより、標準的手法と比較してGPUメモリ使用量が50〜70％削減され、フル解像度のスタイル損失計算が可能となった。
• ARFは、Tanks and Templesデータセットを含む多様な実世界シーンにおいて、メッシュベースのベースラインと比較して最小限の幾何的アーティファクトを伴いながら、最先端のスタイライゼーション品質を達成した。