[논문 리뷰] T$^3$Bench: Benchmarking Current Progress in Text-to-3D Generation

Yuze He, Yushi Bai외 7명|arXiv (Cornell University)|2023. 10. 04.

Human Motion and Animation인용 수 11

한 줄 요약

T3Bench는 텍스트-3D 생성에 대한 최초의 포괄적 자동 벤치마크를 제시합니다. 다양한 프롬프트와 인간 판단과 상관관계가 있는 다-view 품질/정렬 지표를 포함하며, 10개의 대표적 방법을 평가합니다.

ABSTRACT

Recent methods in text-to-3D leverage powerful pretrained diffusion models to optimize NeRF. Notably, these methods are able to produce high-quality 3D scenes without training on 3D data. Due to the open-ended nature of the task, most studies evaluate their results with subjective case studies and user experiments, thereby presenting a challenge in quantitatively addressing the question: How has current progress in Text-to-3D gone so far? In this paper, we introduce T$^3$Bench, the first comprehensive text-to-3D benchmark containing diverse text prompts of three increasing complexity levels that are specially designed for 3D generation. To assess both the subjective quality and the text alignment, we propose two automatic metrics based on multi-view images produced by the 3D contents. The quality metric combines multi-view text-image scores and regional convolution to detect quality and view inconsistency. The alignment metric uses multi-view captioning and GPT-4 evaluation to measure text-3D consistency. Both metrics closely correlate with different dimensions of human judgments, providing a paradigm for efficiently evaluating text-to-3D models. The benchmarking results, shown in Fig. 1, reveal performance differences among an extensive 10 prevalent text-to-3D methods. Our analysis further highlights the common struggles for current methods on generating surroundings and multi-object scenes, as well as the bottleneck of leveraging 2D guidance for 3D generation. Our project page is available at: https://t3bench.com.

연구 동기 및 목표

• 대상 3D 기하학, 뷰 일관성, 텍스트 정렬을 반영하는 포괄적이고 자동화된 텍스트-3D 생성 벤치마크를 정의합니다.
• 현재 방법을 탐색하기 위해 증가하는 복잡도의 세 가지 프롬프트 집합(Single Object, Single Object with Surroundings, Multiple Objects)을 만듭니다.
• 다중 뷰 2D 렌더링을 활용해 품질과 프롬프트와의 정렬을 평가하는 자동 지표를 제안하고 검증합니다.
• 일관된 평가를 위한 메시(mesh)로 3D 표현을 통합하고 방법 간 공정한 비교를 가능하게 합니다.

제안 방법

• GPT-4로 생성되고 ROUGE-L로 다양성 필터링된 세 가지 난이도 수준의 프롬프트를 설계합니다.
• 다양한 3D 출력물(NeRF 기반)을 벤치마킹용으로 DMTet 또는 Marching Cubes를 통해 통합 3D 메시로 변환합니다.
• 아이소헤드론의 161 viewpoints에서 3D 장면을 촬영하고, 다초점 촬영으로 점수에 가장 적합한 뷰를 선택합니다.
• 다관절 합성된 지역 컨볼루션으로 뷰 불일치(Janus 문제)를 감지하는 다-view CLIP 및 ImageReward로 품질을 점수화합니다.
• 3D-텍스트 캡션(BLIP)과 GPT-4 기반 텍스트 회상 평가(ROUGE-L)를 통해 12개의 아이소헤드론 뷰에서의 정렬을 평가합니다.
• 메트릭과 인간 점수 간의 스피어만/켄달/피어슨 상관관계로 인간 판단에 대한 기저를 설정합니다.

실험 결과

연구 질문

• RQ1 현재 텍스트-3D 방법이 단일 객체 프롬프트, 주변 맥락이 있는 프롬프트, 다중 객체가 포함된 프롬프트에 대해 어떻게 수행하는가?
• RQ2 자동 다-view 품질 및 정렬 지표가 3D 콘텐츠 품질과 프롬프트 충실도에 대한 인간 판단을 신뢰성 있게 반영하는가?
• RQ3 2D 가이던스로부터 일관된 3D 장면 생성을 전환하는 데의 주요 병목은 무엇이며, 서로 다른 3D 표현은 벤치마킹 결과에 어떤 영향을 미치는가?
• RQ4 뷰 일관성 문제(Janus 문제)가 방법 간 품질 및 정렬 평가에 얼마나 영향을 미치는가?

주요 결과

• T3Bench는 세 가지 프롬프트 세트에서 10개의 대표적인 텍스트-3D 방법 간에 강한 차이를 보여주며, 장면의 복잡도가 증가함에 따라 성능이 감소합니다.
• 다-view 품질(지역 컨볼루션 이용)과 다-view 정렬(3D 캡션화 + GPT-4 회상)을 통해 인간 판단과 높은 상관관계를 보입니다(Spearman/Kendall/Pearson >= 0.75).
• 뷰 일관성 문제(Janus 문제)가 품질 점수에 상당한 영향을 주며, 지역 컨볼루션이 이를 완화하는 데 도움이 됩니다.
• 확산 모델의 2D 가이던스 품질은 3D 생성 품질을 신뢰성 있게 예측하지 못해 2D 단 cues에서 3D 구조 학습의 도전성을 강조합니다.
• VSD 기반 방법은 복잡한 장면 생성을 개선하지만, 불필요한 상세를 도입하거나 3D/다-view 사전 정보를 충분히 활용하지 못하여 정렬에 영향을 줄 수 있습니다.
• 기하학적 초기화 및 다-view 확산 모델은 가능성을 보여주지만 분포 밖 프롬프트나 매우 복잡한 장면에서 어려움을 겪습니다.