[논문 리뷰] Neural Star Domain as Primitive Representation

Yuki Kawana, Yusuke Mukuta외 1명|arXiv (Cornell University)|2020. 10. 21.

3D Shape Modeling and Analysis인용 수 3

한 줄 요약

이 논문은 3D 형상의 암시적 및 명시적 모델링을 통합하는 새로운 기하 표현인 신경성 별 도메인(NEURAL STAR DOMAIN, NSD)을 제안한다. 이는 3D 형상의 간결하고 의미 있는, 그리고 미분 가능한 재구성 가능성을 제공한다. NSD는 기존 방법들에 비해 3D 재구성, 의미론적 추론, 고해상도 메쉬 샘플링에서 뛰어난 성능을 달성한다.

ABSTRACT

Reconstructing 3D objects from 2D images is a fundamental task in computer vision. Accurate structured reconstruction by parsimonious and semantic primitive representation further broadens its application. When reconstructing a target shape with multiple primitives, it is preferable that one can instantly access the union of basic properties of the shape such as collective volume and surface, treating the primitives as if they are one single shape. This becomes possible by primitive representation with unified implicit and explicit representations. However, primitive representations in current approaches do not satisfy all of the above requirements at the same time. To solve this problem, we propose a novel primitive representation named neural star domain (NSD) that learns primitive shapes in the star domain. We show that NSD is a universal approximator of the star domain and is not only parsimonious and semantic but also an implicit and explicit shape representation. We demonstrate that our approach outperforms existing methods in image reconstruction tasks, semantic capabilities, and speed and quality of sampling high-resolution meshes.

연구 동기 및 목표

• 복합 기하적 성질(예: 부피, 표면적 등)을 지원하면서도 간결하고 의미적인 통합된 기본 표현이 부족한 문제를 해결하기 위해.
• 단일 통합 형상 표현을 통해 2D 이미지에서 효율적이고 정확한 3D 재구성 가능성을 제공하기 위해.
• 암시적 및 명시적 형상 모델링을 모두 지원하는 표현을 개발하여 고속이고 고품질의 메쉬 샘플링이 가능하도록 하기 위해.

제안 방법

• 3D 형상을 별 도메인의 라디얼 거리 함수를 파arameter화하는 신경망을 사용하여 표현한다. 이는 각 점이 중심점으로부터의 라디얼 거리로 정의된다.
• 신경망이 별 도메인 내의 라디얼 함수를 학습함으로써, 연속적이고 미분 가능한 함수를 통해 복잡한 형상을 암시적으로 표현할 수 있다.
• 라디얼 함수의 0레벨 세트를 샘플링하여 명시적 메쉬 추출을 지원함으로써 고해상도 메쉬 생성이 가능하다.
• 이 방법은 신경 파rameterization으로부터 직접적으로 복합 기하적 성질(예: 부피, 표면적)을 계산할 수 있도록 보장한다.
• 신경망의 보편 근사 성질을 활용하여 임의의 별형상형을 높은 정밀도로 모델링한다.
• 2D 이미지 감독을 기반으로 엔드 투 엔드로 훈련되어 단일 또는 다중 시점 이미지에서의 재구성 가능하다.

실험 결과

연구 질문

• RQ1 단일 기본 표현이 암시적 및 명시적 형상 모델링을 통합하면서도 간결하고 의미적인가?
• RQ2 별 도메인 내의 신경 표현이 높은 기하 정확도로 복잡한 3D 형상을 얼마나 잘 근사하는가?
• RQ3 제안된 표현이 부피 및 표면적과 같은 복합 기하 성질을 효율적으로 계산할 수 있는가?
• RQ4 기존의 기본 표현 기반 재구성 방법들에 비해 재구성 품질과 샘플링 속도에서 뛰어난 성능을 보이는가?
• RQ5 2D 감독에서 고해상도 메쉬 생성으로 일반화 가능한가?

주요 결과

• NSD는 2D 이미지에서 3D 재구성에서 최신 기술 수준의 성능을 달성하며, 정성적 및 정량적 지표에서 기존 방법들을 능가한다.
• 이 방법은 신경 파arameterization에서 직접적으로 부피 및 표면적과 같은 복합 기하 성질을 정확하게 계산할 수 있다.
• 기존 기준 대비 뛰어난 품질과 속도로 고해상도 메쉬 샘플링을 지원한다.
• 별 도메인 내의 신경 표현은 별형상의 보편 근사자 역할을 하며, 강력한 일반화 능력을 보여준다.
• 2D 이미지 입력에서 미분 가능하고 엔드 투 엔드로 훈련이 가능하여 고정밀 3D 재구성을 달성한다.