[論文レビュー] Understanding Pure CLIP Guidance for Voxel Grid NeRF Models

Han-Hung Lee, Anne Lynn S. Chang|arXiv (Cornell University)|Sep 30, 2022

Generative Adversarial Networks and Image Synthesis被引用数 16

ひとこと要約

本論文は、3Dデータセットの教師付き学習を一切用いずに、純粋なCLIPガイドドの暗黙的ボクセルグリッドNeRFモデルを提案する。画像ベースの拡張とアンサンブルCLIPモデルの適用により、先行研究に比べて幾何的整合性が向上し、より明確な結果が得られる。さらに、CLIPの視覚言語アライメントに依存するのみであるため、メモリ効率が向上し、トレーニング速度も高速化されている。

ABSTRACT

We explore the task of text to 3D object generation using CLIP. Specifically, we use CLIP for guidance without access to any datasets, a setting we refer to as pure CLIP guidance. While prior work has adopted this setting, there is no systematic study of mechanics for preventing adversarial generations within CLIP. We illustrate how different image-based augmentations prevent the adversarial generation problem, and how the generated results are impacted. We test different CLIP model architectures and show that ensembling different models for guidance can prevent adversarial generations within bigger models and generate sharper results. Furthermore, we implement an implicit voxel grid model to show how neural networks provide an additional layer of regularization, resulting in better geometrical structure and coherency of generated objects. Compared to prior work, we achieve more coherent results with higher memory efficiency and faster training speeds.

研究の動機と目的

• ペairedなテキスト-3Dデータが一切ない状況下で、純粋なCLIPガイドドの有効性を調査すること。
• 画像ベースの拡張が、CLIPガイドド3D生成における敵対的生成を防ぐ効果に与える影響を体系的に評価すること。
• 明示的ボクセルグリッドと暗黙的ボクセルグリッドの幾何的正則化および生成品質の観点での比較。
• CLIPバックボーンの選択とモデルアンサンブルが、生成された3Dオブジェクトの詳細性と整合性に与える役割の解明。
• 先行手法に比べて、メモリ使用量を削減し、トレーニング速度を向上させつつ、高解像度で整合性の高い3D生成を達成すること。

提案手法

• 3Dラディアンスフィールドをパrameterizeするため、暗黙的ボクセルグリッド表現（VoxImp）を用い、微分可能なニューラルレンダリングを可能にする。
• CLIPのテキスト-画像対照的損失を、微分可能なレンダリングを通じて最適化し、入力プロンプトが3D形状生成をガイドする。
• レンダリング中に、DiffAugment やカラージャンプなどの画像ベースの拡張を適用し、CLIP類似度最適化の正則化を図り、敵対的出力を防ぐ。
• 複数のCLIPモデル（例：ViT-B/16, ViT-B/32, OpenCLIP）をアンサンブルすることで、特徴のロバスト性と詳細忠実度を向上。
• 複数視点レンダリングの目的関数を用いてエンドツーエンドでトレーニングし、多様な視点角度におけるCLIP埋め込み類似度を最適化。
• 224²解像度でトレーニングを実施し、解像度およびアーキテクチャ選択のアブレーションスタディを実施して、効率性と品質を評価。

実験結果

リサーチクエスチョン

• RQ1 異なる画像ベースの拡張が、CLIPガイドド3D生成における整合性と現実性に与える影響は何か？
• RQ2 複数のCLIPモデルをアンサンブルすることで、3D生成における幾何的詳細性がどの程度向上し、敵対的アーチファクトが減少するか？
• RQ3 暗黙的ボクセルグリッド表現は、明示的ボクセルグリッドと比較して、幾何的正則化および再構成品質の観点でどのように異なるか？
• RQ4 純粋なCLIPガイドドにより、3Dデータセットの教師付き学習なしに高解像度で整合性のある3Dオブジェクトを生成できるか？
• RQ5 純粋なCLIPガイドド3D生成において、モデルの複雑さ、メモリ使用量、トレーニング速度のトレードオフは何か？

主な発見

• 暗黙的ボクセルグリッドモデル（VoxImp）は、ViT-B/16およびViT-B/32のCLIPモデルの両方で、定量的リtrievalスコアが最良であり、先行研究を上回る。
• CLIP ViT-B/16でトレーニングされたVoxImpモデルは、同じおよび異なるCLIPモデルの両方で高いCLIPリtrievalスコアを達成しており、ロバストネスと一般化能力が裏付けられている。
• 224²解像度でトレーニングすると、低解像度（例：168²）よりも高品質な結果が得られ、幾何的形状と詳細の保持が優れている。
• VoxExpモデルは、異なるCLIPモデル（ViT-B/32）で評価された際、Dream Fieldsを著しく上回り、一般化性能の向上が示された。
• 提案手法は7GBのメモリで収まり、RTX 2080 Tiで約20分でトレーニングが完了し、Dream Fieldsに比べてよりメモリ効率が良く、高速である。
• DiffAugment などの画像拡張は、敵対的生成を防ぐために不可欠であるが、一部の拡張（例：透視変換）はプロンプトの内容によってはテクスチャの整合性を損なう可能性がある。