[논문 리뷰] 3DILG: Irregular Latent Grids for 3D Generative Modeling

Biao Zhang, Matthias Nießner외 1명|arXiv (Cornell University)|2022. 05. 27.

3D Shape Modeling and Analysis인용 수 22

한 줄 요약

신경장에 불규칙한 잠재 격자를 도입하여 확장 가능한 트랜스포머-호환 3D 형태 재구성과 확률적 생성을 가능하게 하며, 재구성 및 다양한 조건부 생성 과제에서 최첨단 성과를 달성한다.

ABSTRACT

We propose a new representation for encoding 3D shapes as neural fields. The representation is designed to be compatible with the transformer architecture and to benefit both shape reconstruction and shape generation. Existing works on neural fields are grid-based representations with latents defined on a regular grid. In contrast, we define latents on irregular grids, enabling our representation to be sparse and adaptive. In the context of shape reconstruction from point clouds, our shape representation built on irregular grids improves upon grid-based methods in terms of reconstruction accuracy. For shape generation, our representation promotes high-quality shape generation using auto-regressive probabilistic models. We show different applications that improve over the current state of the art. First, we show results for probabilistic shape reconstruction from a single higher resolution image. Second, we train a probabilistic model conditioned on very low resolution images. Third, we apply our model to category-conditioned generation. All probabilistic experiments confirm that we are able to generate detailed and high quality shapes to yield the new state of the art in generative 3D shape modeling.

연구 동기 및 목표

• 트랜스포머 아키텍처와 호환되면서 재구성 및 생성을 모두 지원하는 3D 형태에 대한 잠재 표현을 고안한다.
• 희소하고 적응적인 불규칙 잠재 격대를 개발하여 정규 격자의 한계를 피한다.
• 점 구름으로부터의 3D 형태 재구성을 개선하고 여러 컨디셔닝 체계에서 최첨단 확률적 3D 형태 생성을 입증한다.

제안 방법

• x_i가 3D 위치이고 z_i가 불규칙 격자상의 잠재인 고정 길이의 잠재 쌍 시퀀스 (x_i, z_i)를 정의한다.
• 점 이웃의 패치를 미니-PointNet 유사 임베딩으로 처리하여 i번째 패치 임베딩 e_i를 생성한다.
• (e_i, 위치 임베딩 p_i) 시퀀스에 트랜스포머를 적용하여 로컬 잠재 z_i를 학습한다.
• 자동회귀 모델링을 위한 중간 잠재를 이산화하기 위해 D 사전으로 벡터 양자화를 선택적으로 적용한다.
• 임의의 쿼리 x에 대해 자가회귀- 또는 커널 기반의 Nadarya-Watson 추정기로 잠재 z_x를 보간하고 MLP를 통해 디코딩하여 점유 확률 O(x)를 얻는다.
• 좌표나 다른 컨디셔닝 신호에 조건화하여 z_i를 생성하는 자가회귀 및 양방향 트랜스포머 전략을 제공한다; 단방향 토큰별 생성이나 블록 단위의 양방향 샘플링을 지원한다.

실험 결과

연구 질문

• RQ1 불규칙 잠재 격자가 점 구름으로부터의 재구성 정확도에서 격자 기반 표현과 동등하거나 이를 능가할 수 있는가?
• RQ2 불규칙 잠재 격자가 이미지, 범주 레이블 또는 점 구름에 조건화된 고품질 확률적 3D 형태 생성을 가능하게 하는가?
• RQ3 3DILG의 자가회귀 생성에서 벡터 양자화가 품질과 계산 가능성에 어떤 영향을 미치는가?
• RQ4 고정 길이 잠재 시퀀스와 트랜스포머 기반 모델링으로 이미지, 카테고리, 점 구름 등 다중 컨디셔닝 모듈을 지원할 수 있는가?

주요 결과

• 불규칙 잠재 격자는 ShapeNet-v2에서 다수의 지표에 걸쳐 최첨단 재구성 결과에 경쟁력 있다.
• 모델은 해상도가 높은 이미지나 낮은 이미지, 범주 레이블 또는 점 구름에 조건화된 다중 샘플 확률적 3D 형태 생성을 지원하여 고품질 표면 디테일을 달성한다.
• 벡터 양자화는 재구성/생성 성능을 약간 감소시킬 수 있지만 자가회귀 모델링에 유익한 이산 잠재 공간을 제공한다.
• 불규칙 잠재를 사용한 카테고리 조건생성은 격자 기반 8^3 기준선에 비해 우수한 FID 점수를 보여주며 생성된 형태의 디테일과 다양성이 향상되었음을 시사한다.