[논문 리뷰] Understanding Pure CLIP Guidance for Voxel Grid NeRF Models

Han-Hung Lee, Anne Lynn S. Chang|arXiv (Cornell University)|2022. 09. 30.

Generative Adversarial Networks and Image Synthesis인용 수 16

한 줄 요약

이 논문은 어떤 3D 데이터셋의 감독 없이도 텍스트에서 3D로의 생성을 위한 순수 CLIP 유도형 암시적 볼륨 그리드 NeRF 모델을 제안한다. 이미지 기반 증강 기법을 적용하고 CLIP 모델 앙상블를 사용하여, 이전 작업보다 더 높은 기하학적 일관성과 더 선명한 결과를 달성하였으며, CLIP의 시각-언어 정렬 기반으로 메모리 효율성과 더 빠른 학습 속도를 확보하였다.

ABSTRACT

We explore the task of text to 3D object generation using CLIP. Specifically, we use CLIP for guidance without access to any datasets, a setting we refer to as pure CLIP guidance. While prior work has adopted this setting, there is no systematic study of mechanics for preventing adversarial generations within CLIP. We illustrate how different image-based augmentations prevent the adversarial generation problem, and how the generated results are impacted. We test different CLIP model architectures and show that ensembling different models for guidance can prevent adversarial generations within bigger models and generate sharper results. Furthermore, we implement an implicit voxel grid model to show how neural networks provide an additional layer of regularization, resulting in better geometrical structure and coherency of generated objects. Compared to prior work, we achieve more coherent results with higher memory efficiency and faster training speeds.

연구 동기 및 목표

• 모든 텍스트-3D 데이터 쌍이 없는 조건에서 순수 CLIP 유도의 효과성을 조사하는 것.
• 이미지 기반 증강 기법이 CLIP 유도 3D 생성에서 악성 생성을 방지하는 데 미치는 영향을 체계적으로 평가하는 것.
• 기하학적 정규화와 생성 품질 측면에서 명시적 볼륨 그리드와 암시적 볼륨 그리드 표현 간의 비교.
• CLIP 백본 선택과 모델 앙상블가 생성된 3D 객체의 세부 사항과 일관성에 미치는 영향을 탐색하는 것.
• 이전 방법보다 메모리 사용량을 줄이고 학습 속도를 높이며 고해상도이고 일관성 있는 3D 생성을 달성하는 것.

제안 방법

• 모델은 암시적 볼륨 그리드 표현(VoxImp)을 사용하여 3D 렌더링 필드를 매개변수화하며, 기울기 전파 가능한 신경 렌더링을 가능하게 한다.
• CLIP의 텍스트-이미지 대비 손실이 기울기 전파 가능한 렌더링을 통해 최적화되며, 입력 프롬프트가 3D 형태 생성을 유도한다.
• 렌더링 중에 DiffAugment 및 색상 왜곡과 같은 이미지 기반 증강 기법이 적용되어 CLIP 유사도 최적화를 정규화하고 악성 출력을 방지한다.
• 여러 CLIP 모델(ViT-B/16, ViT-B/32, OpenCLIP 등)을 앙상블하여 특징의 강건성과 세부 사항의 정확도를 향상시킨다.
• 다중 시점 렌더링 목표를 사용하여 엔드 투 엔드로 학습되며, 다양한 시점 각도에서 CLIP 임베딩 유사도를 최적화한다.
• 학습은 224² 해상도에서 수행되며, 효율성과 품질 평가를 위해 해상도 및 아키텍처 선택에 대한 분석 실험을 실시한다.

실험 결과

연구 질문

• RQ1 다양한 이미지 기반 증강 기법이 CLIP 유도 3D 생성의 일관성과 현실성에 어떤 영향을 미치는가?
• RQ2 여러 CLIP 모델을 앙성할 경우, 3D 생성에서 기하학적 세부 사항 향상과 악성 아티팩트 감소에 어느 정도 기여하는가?
• RQ3 암시적 볼륨 그리드 표현은 명시적 볼륨 그리드 표현과 비교해 기하학적 정규화와 재구성 품질 측면에서 어떻게 다른가?
• RQ4 순수 CLIP 유도가 어떤 3D 데이터셋의 감독 없이도 고해상도이고 일관성 있는 3D 객체를 생성할 수 있는가?
• RQ5 순수 CLIP 유도 3D 생성에서 모델 복잡도, 메모리 사용량, 학습 속도 간의 상충 관계는 어떠한가?

주요 결과

• 암시적 볼륨 그리드 모델(VoxImp)은 ViT-B/16 및 ViT-B/32 CLIP 모델 모두에서 최고의 정량적 검색 점수를 기록하며 이전 작업을 능가한다.
• CLIP ViT-B/16로 학습된 VoxImp 모델은 동일 및 다른 CLIP 모델 모두에서 높은 CLIP 검색 점수를 기록하여 강건성과 일반화 능력을 입증한다.
• 224² 해상도에서 학습할 경우, 낮은 해상도(예: 168²)보다 더 높은 품질의 결과를 얻으며 기하학적 형태와 세부 사항 보존이 뛰어나다.
• VoxExp 모델은 ViT-B/32 CLIP 모델에서 평가되었을 때 Dream Fields를 크게 능가하며, 더 나은 일반화 능력을 보여준다.
• 제안된 방법은 단지 7GB의 메모리만을 사용하고 RTX 2080 Ti에서 약 20분 내로 학습이 가능하여 Dream Fields보다 더 메모리 효율적이고 빠른 학습 속도를 확보한다.
• DiffAugment와 같은 이미지 증강 기법은 악성 생성을 방지하는 데 필수적이며, 일부 증강 기법(예: 투시 변형)은 프롬프트에 따라 텍스처 일관성을 해칠 수 있다.