[논문 리뷰] Score Jacobian Chaining: Lifting Pretrained 2D Diffusion Models for 3D Generation

Haochen Wang, Xiaodan Du외 3명|arXiv (Cornell University)|2022. 12. 01.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 사전 훈련된 2D 확산 모델의 점수를 기반으로 기하학적 볼륨 렌더러를 통해 역전파하여 3D 레디언스 필드를 생성하는 Score Jacobian Chaining (SJC) 방법을 제안한다. 분포 이탈 문제를 해결하기 위해 Perturb-and-Average Scoring을 도입하여, 노이즈가 없는 렌더링된 이미지에 디노이징 기반 적용이 가능하게 하여, 3D 데이터나 미세조정 없이도 고품질의 텍스트 기반 3D 생성을 가능하게 한다.

ABSTRACT

A diffusion model learns to predict a vector field of gradients. We propose to apply chain rule on the learned gradients, and back-propagate the score of a diffusion model through the Jacobian of a differentiable renderer, which we instantiate to be a voxel radiance field. This setup aggregates 2D scores at multiple camera viewpoints into a 3D score, and repurposes a pretrained 2D model for 3D data generation. We identify a technical challenge of distribution mismatch that arises in this application, and propose a novel estimation mechanism to resolve it. We run our algorithm on several off-the-shelf diffusion image generative models, including the recently released Stable Diffusion trained on the large-scale LAION dataset.

연구 동기 및 목표

• 3D 데이터 또는 재훈련에 접근할 수 없더라도 사전 훈련된 2D 확산 모델만을 사용하여 3D 생성을 가능하게 하는 것.
• 최적화 과정에서 노이즈가 없는 3D 렌더링된 이미지에 노이즈 제거기(디노이저)를 적용할 때 발생하는 분포 이탈(Out-of-Distribution, OOD) 문제를 해결하는 것.
• 다양한 시점에서 유도된 2D 이미지 기울기들을 통합하여 3D 점수를 생성함으로써 3D 자산 최적화에 기여하는 방법을 개발하는 것.
• 적응적 스케줄링을 적용한 새로운 공백성 정규화 손실을 통해 3D 생성 품질을 향상시키는 것.
• 확산 모델 기반 3D 최적화 환경에서 노이즈 스케줄링 및 클래스 조건부 가이던스의 영향을 탐구하는 것.

제안 방법

• 2D 확산 모델을 학습된 점수 함수(로그 밀도의 기울기)로 간주하고, 기하학적 렌더러의 자코비안을 통해 체인 룰을 적용한다.
• 볼륨 기반 레디언스 필드를 3D 매개변수 θ로 사용하며, 볼륨 렌더링을 기반으로 3D 매개변수에서 2D 이미지 xπ를 생성하는 기울기 가능한 함수 f(θ)로 정의한다.
• 노이즈가 없는 렌더링된 이미지의 점수를 추정하기 위해 Perturb-and-Average Scoring (PAAS)를 제안하며, 이는 OOD 문제를 완화한다.
• 체인 룰 적용: ∇θ log pσ(θ) = Jπ^T · ∇x log pσ(xπ), 여기서 Jπ는 렌더러의 자코비안이고, ∇x는 확산 모델에서 유도된 점수이다.
• 3D 볼륨 내 공백 또는 희박한 영역을 방지하기 위해 정규화 손실을 도입하며, 기하학적 품질 향상과 잡음 감소를 위해 동적 가중치 스케줄링을 적용한다.
• 효율성을 위해 잠재공간 기반 확산 추론을 사용하여 체인 점수를 가이던스 신호로 활용해 3D 레디언스 필드를 최적화한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 2D 확산 모델을 3D 생성에 효과적으로 재사용할 수 있는가? 이때 3D 데이터나 미세조정이 필요하지 않다.
• RQ2 최적화 과정에서 노이즈가 없는 렌더링된 3D 이미지에 노이즈 제거기를 적용할 때 발생하는 분포 이탈 문제는 어떻게 해결할 수 있는가?
• RQ3 텍스트 조건부 설정에서 3D 생성 품질을 높이기 위해 어떤 노이즈 스케줄링 전략(예: 안내된 vs. 랜덤 σ)이 더 우수한가?
• RQ4 언어 가이던스의 스케일 증가가 최적화 기반 3D 생성 파이프라인의 성능에 어떤 영향을 미치는가?
• RQ5 특히 공백성 손실을 포함한 정규화 기법이 3D 기하학적 구조 향상과 잡음 감소에 어떤 역할을 하는가?

주요 결과

• Perturb-and-Average Scoring는 분포 이탈 문제를 효과적으로 완화하여, 노이즈가 있는 이미지에서 훈련된 디노이저를 사용한 3D 자산 최적화를 안정적으로 가능하게 한다.
• 고도의 언어 가이던스(스케일 10.0)를 적용한 랜덤 σ 스케줄링 전략이 안내된 σ 스케줄링보다 3D 생성 품질에서 뛰어나며, 더 선명하고 일관성 있는 3D 모델을 생성한다.
• 적응적 스케줄링을 적용한 제안된 공백성 손실은 3D 기하학적 품질을 크게 향상시키며, 일정하거나 손실 없이 적용한 경우에 비해 떠 있는 잡음이나 더러운 깊이 맵을 줄인다.
• SJC는 다양한 텍스트 프롬프트에 대해 고품질의 3D 자산을 생성할 수 있으며, 시드니 오페라 하우스와 같은 복잡한 물체나 세부 사항이 풍부한 가구까지도 잘 구현하여 강력한 일반화 능력을 보여준다.
• 정성적 비교 결과, 동일한 기반 모델을 사용하는 동시 논문인 Stable-DreamFusion에 비해 SJC는 더 높은 이미지 품질과 더 견고한 3D 기하학적 형태를 제공한다.
• 강력한 성능에도 불구하고, 시행 간 품질 변동성이 여전히 존재하며, PAAS를 기울기 신호로 최적의 방식으로 적용하는 것은 여전히 열린 문제이다.