[論文レビュー] CLIP-based Neural Neighbor Style Transfer for 3D Assets

Shailesh Mishra, Jonathan Granskog|arXiv (Cornell University)|Aug 8, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本論文は、CLIP-ResNet50を用いた差分可能レンダラーと最近傍特徴マッチング損失を組み合わせることで、テクスチャの外観を最適化する3Dアセット向けCLIPベースのニューラルネIGHボアスタイル転送手法を提案する。VGGベースの手法に比べてより洗練されたテクスチャスタイル転送を実現し、複数のスタイル画像のサポートと、自動抽出または手動入力によるカラーパレット制御を可能にし、従来のレンダラーと互換性のある高品質なスタイル化3Dレンダリングを生成する。

ABSTRACT

We present a method for transferring the style from a set of images to a 3D object. The texture appearance of an asset is optimized with a differentiable renderer in a pipeline based on losses using pretrained deep neural networks. More specifically, we utilize a nearest-neighbor feature matching loss with CLIP-ResNet50 to extract the style from images. We show that a CLIP- based style loss provides a different appearance over a VGG-based loss by focusing more on texture over geometric shapes. Additionally, we extend the loss to support multiple images and enable loss-based control over the color palette combined with automatic color palette extraction from style images.

研究の動機と目的

• 従来の3Dレンダラーで使用可能な自動的かつ画像ベースの3Dアセットテクスチャのスタイル化の課題に対処すること。
• VGGベースのスタイル転送を改善するため、幾何的形状ではなくテクスチャに焦点を当てるCLIP-ResNet50を活用すること。
• 最近傍特徴マッチング（NNFM）を複数のスタイル画像をサポートするように拡張し、芸術的自由度を高めるためにカラーパレット制御を統合すること。
• コンテンツを保持しつつ、2Dコンceptアートから複雑なテクスチャスタイルを高精細に転送するスタイル化を実現すること。

提案手法

• 本手法は、合成損失関数を最小化することで、差分可能レンダラーを用いて3Dテクスチャの外観を最適化する。
• レンダリング済み画像とスタイル画像の特徴ベクトルを比較することで、CLIP-ResNet50特徴に基づく最近傍特徴マッチング（NNFM）損失を用いてスタイルをマッチングする。
• 各レンダリング特徴ベクトルとスタイル特徴集合内の最近傍との間のコサイン距離を計算し、空間的位置を無視する。
• VGG16ベースのコンテンツ損失により、目や顔の特徴といった元のテクスチャの構造的特徴を保持する。
• K-meansクラスタリングを用いて自動抽出するか、ユーザーが入力したカラーパレットに一致させるためにカラーパレット損失を設定する。
• NNFM計算時に複数のスタイル画像の特徴ベクトルを連結することで、複数のスタイル画像のサポートを実現し、スタイル表現を豊かにする。

実験結果

リサーチクエスチョン

• RQ1 CLIP-ResNet50に基づく最近傍特徴マッチングは、VGG16ベースの手法に比べて3Dテクスチャに対してよりテクスチャに忠実なスタイル転送を実現できるか？
• RQ2 複数のスタイル画像を用いることで、スタイル化出力の多様性と品質にどのような影響を与えるか？
• RQ3 カラーパレット制御は、スタイル化結果と芸術的自由度をどの程度向上できるか？
• RQ4 Gram行列ベースやVGGベースの損失と比較して、CLIPベースの損失はテクスチャの外観をより良く捉えられるか？

主な発見

• CLIP-ResNet50 NNFMは、VGG16 NNFMに比べてよりテクスチャに特化した外観を実現する。VGG16 NNFMはブラシストロークや幾何的パターンに強く影響を受ける傾向がある。
• CLIPベースの損失は、ペインティング的でテクスチャ豊かなスタイルを効果的に転送するが、VGG16ベースの手法は、長めのストロークのような線形特徴をより良く保持する。
• K-meansクラスタリングを用いたカラーパレット損失により、スタイル画像との正確な色の一致が可能であり、アーティストの意図に応じた手動オーバーライドも可能になる。
• NNFM損失に複数のスタイル画像を組み込むことで、視覚的な多様性が向上し、スタイル化出力に新たなパターンや色の変化が加わる。
• コンテンツ損失により、牛の顔の特徴のような顕著な特徴が最適化中に劣化することなく保持される。
• 本手法は、従来の3Dレンダラーで直接レンダリング可能なスタイル化3Dアセットを生成し、プロダクションパイプラインへの実用的統合を可能にする。