[논문 리뷰] AutoSDF: Shape Priors for 3D Completion, Reconstruction and Generation

Paritosh Mittal, Yen-Chi Cheng외 2명|arXiv (Cornell University)|2022. 03. 17.

Human Pose and Action Recognition인용 수 7

한 줄 요약

이 논문은 3D 형태의 이산적이고 저차원 잠재 표현에 대해 비순차적 자동회귀 형태 우선순위를 제안하며, 3D 완성, 재구성, 언어 유도 생성을 위한 통합적이고 고품질의 생성을 가능하게 한다. 일반적인 형태 우선순위를 학습하고 경량의 작업별 조건부 모델과 결합함으로써, 짝지어진 데이터가 최소한인 다양한 설정에서 작업별 최신 기술보다 뛰어난 성능을 달성한다.

ABSTRACT

Powerful priors allow us to perform inference with insufficient information. In this paper, we propose an autoregressive prior for 3D shapes to solve multimodal 3D tasks such as shape completion, reconstruction, and generation. We model the distribution over 3D shapes as a non-sequential autoregressive distribution over a discretized, low-dimensional, symbolic grid-like latent representation of 3D shapes. This enables us to represent distributions over 3D shapes conditioned on information from an arbitrary set of spatially anchored query locations and thus perform shape completion in such arbitrary settings (e.g., generating a complete chair given only a view of the back leg). We also show that the learned autoregressive prior can be leveraged for conditional tasks such as single-view reconstruction and language-based generation. This is achieved by learning task-specific naive conditionals which can be approximated by light-weight models trained on minimal paired data. We validate the effectiveness of the proposed method using both quantitative and qualitative evaluation and show that the proposed method outperforms the specialized state-of-the-art methods trained for individual tasks. The project page with code and video visualizations can be found at https://yccyenchicheng.github.io/AutoSDF/.

연구 동기 및 목표

• 3D 추론 작업(완성, 재구성, 생성 등) 전반에 걸쳐 활용할 수 있는 통합적이고 일반화 가능한 형태 우선순위를 개발하는 것.
• 예를 들어 뒷다리 하나로 의자를 완성하는 것과 같이, 임의의 부분 관찰 상태에서 다중모드 3D 생성 문제를 해결하는 것.
• 작은 규모의 짝지어진 데이터셋에 의존도를 줄이기 위해, 경량의 작업별 조건부 모델을 학습하는 것.
• 이미지, 텍스트, 부분 기하학적 정보 등 다양한 입력 조건에 기반한 고해상도이고 다양한 3D 형태 생성을 가능하게 하는 것.
• 강력한 형태 우선순위와 효율적인 조건부 모델링을 결합함으로써, 낮은 데이터 환경에서의 일반화 능력과 성능을 향상시키는 것.

제안 방법

• 원시 3D 데이터로부터 3D 형태의 저차원 이산 잠재 표현을 학습하기 위해 VQ-VAE 기반 인코더를 사용한다.
• 비순차적 자동회귀 트랜스포머를 이산 잠재 공간에 대해 훈련하며, 임의의 샘플링 순서를 사용하여 관측된 박자의 임의의 부분집합에 조건을 줄 수 있도록 한다.
• 자동회귀 우선순위는 잠재 토큰들에 대한 조건부 확률의 곱으로서 3D 형태의 공동 분포를 모델링하여, 다양하고 타당한 형태 생성을 가능하게 한다.
• 작업별 '단순한' 조건부 모델은 최소한의 짝지어진 데이터(예: 이미지-형태 또는 텍스트-형태 쌍)로 훈련된 경량 모델을 통해 학습된다.
• 최종 생성은 학습된 우선순위와 작업별 조건부 모델의 곱으로 근사되며, 이는 효율적이고 효과적인 추론을 가능하게 한다.
• 이 프레임워크는 임의의 조건부 입력을 지원한다: 부분 관찰, 단일 시점 이미지, 또는 자연어 기술서.

Figure 2 : Overview of Autoregressive Modeling. (top) We use a VQ-VAE to extract a low-dimensional discrete representation of 3D shapes. Using a patch-wise encoder enables independently encoding local context and allows downstream tasks with partial observations. (bottom) We learn a transformer-base

실험 결과

연구 질문

• RQ1 완성, 재구성, 생성과 같은 다양한 3D 생성 작업에 효과적으로 활용될 수 있는 단일한 일반화 가능한 형태 우선순위를 개발할 수 있는가?
• RQ2 비연속적이거나 산산이 흩어진 형태의 일부와 같은 임의의 부분 관찰에 대해 자동회귀 우선순위를 어떻게 적합시킬 수 있는가?
• RQ3 최소한의 짝지어진 데이터로 훈련된 경량 조건부 모델이 강력한 형태 우선순위를 효과적으로 이끌어내어 고품질이고 다양한 출력을 생성할 수 있는가?
• RQ4 비순차적 자동회귀 우선순위와 작업별 조건부 모델을 결합한 방법이, 다중모드 3D 생성에서 작업별 최신 기술 모델을 능가하는가?
• RQ5 언어 유도 생성에서 복잡하거나 모호한 텍스트 기술서에 대해 이 방법은 얼마나 잘 일반화되는가?

주요 결과

• AutoSDF는 짝지어진 데이터가 최소한임에도 불구하고 3D 완성, 단일 시점 재구성, 언어 유도 생성에서 전문 분야 최신 기술보다 뛰어난 성능을 보였다.
• 이 방법은 입력 조건(예: 텍스트 기술서 또는 부분 시점)과 의미적으로 일치하는 다양한 고해상도 3D 형태를 생성한다.
• 정성적 결과에서는 AutoSDF가 JE 및 T2S와 같은 기준 모델보다 텍스트 프롬프트와 더 잘 일치하는 형태를 생성하며, 더 높은 다양성과 현실감을 보였다.
• 비순차적 자동회귀 우선순위는 고립된 다리나 뒷면과 같이 고립된 공간 부분에 대해 효과적인 조건부 모델링을 가능하게 하여, 흐트러진 입력에서의 강건한 완성 성능을 제공한다.
• 프레임워크는 복잡하거나 모호한 텍스트 기술서에 대해서도 잘 일반화되며, 모호성이 증가함에 따라 생성 품질이 저하될 수는 있으나 전체적으로 우수한 성능을 유지한다.
• VQ-VAE 기반의 잠재 표현은 필수적인 형태의 구조를 유지하여, 잠재 코드로부터 충실한 재구성과 고품질의 생성을 가능하게 한다.

Figure 3 : Overview of conditional generation. The proposed autoregressive prior can be used across diverse conditional generation tasks. For each task, we use a domain specific encoder followed by 3D up-convolutions to learn task specific conditional distributions. During inference, we can sample f