Skip to main content
QUICK REVIEW

[논문 리뷰] MeshXL: Neural Coordinate Field for Generative 3D Foundation Models

Sijin Chen, Xin Chen|arXiv (Cornell University)|2024. 05. 31.
Image Processing and 3D ReconstructionComputer Science인용 수 6
한 줄 요약

MeshXL은 Neural Coordinate Field (NeurCF)를 이용한 자동회귀 시퀀스 모델링으로 3D 메시 생성을 가능하게 하며, 직접적이고 고충실도 3D 메시 생성을 가능하게 하고 하위 작업용으로 확장 모델의 기초가 된다. 더 큰 모델과 데이터로 확장하면 성능과 다양성이 향상된다.

ABSTRACT

The polygon mesh representation of 3D data exhibits great flexibility, fast rendering speed, and storage efficiency, which is widely preferred in various applications. However, given its unstructured graph representation, the direct generation of high-fidelity 3D meshes is challenging. Fortunately, with a pre-defined ordering strategy, 3D meshes can be represented as sequences, and the generation process can be seamlessly treated as an auto-regressive problem. In this paper, we validate the Neural Coordinate Field (NeurCF), an explicit coordinate representation with implicit neural embeddings, is a simple-yet-effective representation for large-scale sequential mesh modeling. After that, we present MeshXL, a family of generative pre-trained auto-regressive models, which addresses the process of 3D mesh generation with modern large language model approaches. Extensive experiments show that MeshXL is able to generate high-quality 3D meshes, and can also serve as foundation models for various down-stream applications.

연구 동기 및 목표

  • 대규모 시퀀스 모델링을 위한 간단하고 효과적인 메시 표현으로 Neural Coordinate Field를 검증한다.
  • 중간 표현 없이 직접 3D 메시 생성을 위한 MeshXL 시퀀스 생성형 사전학습 변환기(GPT 계열) 패밀리를 개발한다.
  • 대규모 사전 학습과 더 큰 모델 크기가 메시 생성 품질과 다양성을 향상시킨다는 것을 보여준다.
  • X-to-mesh 생성(텍스트/이미지 조건부)을 시연하고 3D 기초 모델로서의 가능성을 보여준다.

제안 방법

  • PolyGen 및 MeshGPT에서 영감을 받은 미리 정의된 정점/면 순서 전략으로 3D 메시를 시퀀스로 표현한다.
  • 학습 가능한 좌표 임베딩으로 이산화된 좌표를 NeurCF에 인코딩하여 암시적 임베딩과 함께 명시적 공간 표현을 가능하게 한다.
  • ShapeNet, 3D-FUTURE, Objaverse 및 Objaverse-XL의 250만 개가 넘는 메시에 대해 다음 토큰 예측으로 디코더 전용 트랜스포머(MeshXL)를 훈련한다.
  • 사전 학습된 OPT 가중치에서 미세 조정하고 엔드투엔드 MeshXL 학습을 위해 새 좌표 임베딩 및 위치 임베딩을 초기화한다.
  • X-to-mesh 생성을 위한 Q-Former 접두사를 통해 이미지/텍스트 특징을 앞에 붙여 조건부 생성을 가능하게 한다.
Figure 1: MeshXL can auto-regressively generate high-quality 3D meshes. We validate that Neur al C oordinate F ield (NeurCF), an explicit coordinate representation with implicit neural embeddings, is a simple-yet-effective sequence representation for large-scale mesh modelling.
Figure 1: MeshXL can auto-regressively generate high-quality 3D meshes. We validate that Neur al C oordinate F ield (NeurCF), an explicit coordinate representation with implicit neural embeddings, is a simple-yet-effective sequence representation for large-scale mesh modelling.

실험 결과

연구 질문

  • RQ1NeurCF가 직접 3D 메시 생성을 위한 효과적이고 확장 가능한 좌표 기반 표현을 제공할 수 있는가?
  • RQ2대규모 3D 메시 데이터에 대한 자동회귀 MeshXL 사전 훈련이 이전 방법보다 더 높은 품질의 메시를 산출하는가?
  • RQ3모델 크기와 데이터 규모가 메시 생성 품질과 다양성을 어느 정도까지 향상시키는가?
  • RQ4MeshXL은 이미지 또는 텍스트 조건부 3D 메시 생성(X-to-mesh)과 텍스처링과 같은 다운스트림 작업을 지원할 수 있는가?
  • RQ5MeshXL은 다양한 다운스트림 애플리케이션을 위한 3D 기초 모델로 기능할 수 있는가?

주요 결과

  • NeurCF는 비구조적 3D 메시에 대해 간단하고 엔드 투 엔드의 좌표 기반 표현을 제공하여 자동회귀 생성을 지원한다.
  • MeshXL은 더 큰 매개변수 수와 더 많은 사전 학습 데이터로 더 나은 검증 혼란도와 메시 품질 및 다양성을 향상시킨다.
  • MeshXL은 ShapeNet 카테고리에서 무조건적 메시 생성에서 기존 방법을 능가한다(더 높은 다양성 및 품질 지표).
  • MeshXL은 이미지 또는 텍스트 프롬프트를 VLM 파생 접두사로 사용하여 조건부 3D 메시 생성을 가능하게 한다.
  • 휴먼 스터디는 MeshXL로 생성된 메시가 기하학 및 디자인 정렬에서 베이스라인보다 선호된다고 보여준다.
  • MeshXL은 기존 텍스처링 파이프라인과의 호환되는 효과적인 질감 생성 기능을 보여준다.
Figure 2: Mesh Representation. We present the Neur al C oordinate F ield (NeurCF) to encode the discretized coordinates in the Euclidean space. Benefiting from NeurCF and a pre-defined ordering strategy, our proposed MeshXL can directly generate the unstructured 3D mesh auto-regressively.
Figure 2: Mesh Representation. We present the Neur al C oordinate F ield (NeurCF) to encode the discretized coordinates in the Euclidean space. Benefiting from NeurCF and a pre-defined ordering strategy, our proposed MeshXL can directly generate the unstructured 3D mesh auto-regressively.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.