[논문 리뷰] SDFusion: Multimodal 3D Shape Completion, Reconstruction, and Generation

Yen-Chi Cheng, Hsin-Ying Lee외 3명|arXiv (Cornell University)|2022. 12. 08.

Image Processing and 3D Reconstruction인용 수 5

한 줄 요약

SDFusion은 서피스 거리 함수(SDF)와 학습된 잠복 공간을 사용하는 확산 기반 3D 생성 모델로, 고해상도이고 다중 모odal한 3D 형상 생성을 가능하게 한다. 이 모델은 이미지, 텍스트, 부분 형상 또는 그 조합으로부터 조건부 생성을 지원하며, 조건부 모달리티의 가중치를 조절할 수 있고, 형상 보완, 이미지 기반 3D 재구성, 텍스트 기반 3D 생성에서 최신 기준 성능을 달성한다. 또한 2D 확산 모델을 통해 질감 생성도 가능하다.

ABSTRACT

In this work, we present a novel framework built to simplify 3D asset generation for amateur users. To enable interactive generation, our method supports a variety of input modalities that can be easily provided by a human, including images, text, partially observed shapes and combinations of these, further allowing to adjust the strength of each input. At the core of our approach is an encoder-decoder, compressing 3D shapes into a compact latent representation, upon which a diffusion model is learned. To enable a variety of multi-modal inputs, we employ task-specific encoders with dropout followed by a cross-attention mechanism. Due to its flexibility, our model naturally supports a variety of tasks, outperforming prior works on shape completion, image-based 3D reconstruction, and text-to-3D. Most interestingly, our model can combine all these tasks into one swiss-army-knife tool, enabling the user to perform shape generation using incomplete shapes, images, and textual descriptions at the same time, providing the relative weights for each input and facilitating interactivity. Despite our approach being shape-only, we further show an efficient method to texture the generated shape using large-scale text-to-image models.

연구 동기 및 목표

• 일반 사용자가 텍스트, 이미지, 부분 형상과 같은 직관적인 다중 모달 입력을 통해 복잡한 3D 자산을 생성할 수 있도록 3D 자산 생성의 민주화를 목표로 한다.
• 3D 생성의 계산 부담을 줄이기 위해 3D 형상을 저차원의 잠복 공간으로 압축하여 효율적인 확산 모델링을 가능하게 한다.
• 여러 조건부 모달리티의 상대적 중요도를 사용자가 조절할 수 있도록 유연하고 상호작용 가능한 제어 기능을 제공한다.
• 2D와 3D 생성 모델링을 연결하기 위해 사전 학습된 2D 텍스트-이미지 확산 모델을 활용해 생성된 3D 형상에 고해상도 질감을 적용한다.
• 형상 보완, 재구성, 생성을 하나의 탄력적인 아키텍처에서 통합적으로 지원하는 통합 프레임워크를 제시한다.

제안 방법

• SDFusion은 3D 형상을 SDF의 압축된 잠복 표현으로 압축하기 위해 변동형 오토인코더를 사용하여 128³ 해상도에서 고해상도 생성을 가능하게 한다.
• 잠복 공간에서 3D 형상의 확률 분포를 모델링하기 위해 확산 모델을 훈련시켜 고품질이고 다양한 생성 결과를 도출한다.
• 각 모달리티(텍스트, 이미지, 부분 형상)를 처리하기 위한 작업별 인코더를 적용한 후, 다중 입력을 동시에 조건부로 지정하기 위해 교차 attention 메커니즘을 사용한다.
• 분류기 없는 가이던스를 적용하여 추론 시 각 조건부 모달리티의 영향력을 조절할 수 있도록 가중치를 조절할 수 있는 탄력적인 제어를 가능하게 한다.
• 모달리티 전용 임bedding에 주목하는 교차 attention 메커니즘을 사용하여 확산 과정이 각 입력 유형에서 관련 정보에 주목할 수 있도록 한다.
• 질감 생성을 위해 SDFusion은 사전 학습된 2D 텍스트-이미지 확산 모델을 활용하고, 신경 렌더링과 스코어 디스틸레이션 샘플링을 적용하여 의미적으로 적절하고 다양한 질감을 생성된 3D 형상에 적용한다.

Figure 2 : SDFusion Overview. (left) To enable high-resolution generation, we first encode 3D shapes into a latent space, where a diffusion model is trained. Furthermore, to enable flexible conditional generation, we adopt class-specific encoders along with classifier-free guidance to enable multi-m

실험 결과

연구 질문

• RQ1 통합 프레임워크를 사용해 형상 보완, 재구성, 텍스트 기반 3D 생성과 같은 여러 3D 형상 생성 작업을 단일 생성 모델이 효과적으로 처리할 수 있는가?
• RQ2 텍스트, 이미지, 부분 형상과 같은 다중 모달 조건부 입력을 조건부 모달리티의 가중치를 조절할 수 있도록 얼마나 탄력적으로 조합할 수 있는가?
• RQ3 SDF 잠복 공간에서의 잠복 확산 모델이 고해상도 3D 생성을 유지하면서도 계산 효율성과 높은 샘플 품질을 확보할 수 있는가?
• RQ4 2D 텍스트-이미지 확산 모델이 3D 확산 모델로 생성된 3D 형상에 효과적으로 질감을 적용할 수 있는가?
• RQ5 정량적 지표와 정성적 다양성 및 정확성 측면에서 기존 최신 기준 방법에 비해 모델 성능은 어떻게 비교되는가?

주요 결과

• SDFusion은 ShapeGlot 벤치마크에서 AutoSDF보다 혼동률이 12.3% 낮아, 생성된 형상와 텍스트 설명 간의 정합성이 뛰어나다는 것을 입증한다.
• 정성적 결과에서 SDFusion은 'L자형 테이블'이나 '두 개의 표면이 있는 테이블'과 같은 복잡한 설명에 대해 이전 연구 대비 더 다양한 형태와 더 충실한 형상을 생성한다.
• 부분 입력과 이미지를 기반으로 3D 형상을 보완할 때, 모호한 시각적 신호가 존재하더라도 다양한 형태로 타당한 보완 결과를 생성한다.
• 가변적인 가중치를 가진 다중 모달리티의 동시 조건부 입력은 사용자 제어의 세밀한 조절을 가능하게 하며, 그림 8에서 이미지나 텍스트의 가중치를 높일수록 출력이 해당 입력에 가까워지는 것으로 확인된다.
• 2D 텍스트-이미지 확산 모델의 통합을 통해 의미적으로 적절하고 다양한, 스타일리시한 질감(예: '중국식 스타일'이나 '마시멜로우 재질')을 생성된 3D 형상에 적용할 수 있다.
• SDFusion은 ShapeNet, BuildingNet, Pix3D 데이터셋에서 형상 보완, 이미지 기반 3D 재구성, 텍스트 기반 3D 생성 작업에서 정량적·정성적 측면에서 이전 방법들을 모두 능가한다.

Figure 3 : 3D Shape Texturing . We demonstrate an application where models trained on 2D and 3D data are combined. The shapes generated by SDFusion are converted to a density tensor, then the color information is learned via neural rendering. The gradients are provided by an off-the-shelf 2D diffusi