[논문 리뷰] AtlasNet: A Papier-M\\^ach\\'e Approach to Learning 3D Surface Generation

Thibault Groueix, Matthew Fisher외 3명|arXiv (Cornell University)|2018. 02. 14.

3D Shape Modeling and Analysis참고 문헌 31인용 수 177

한 줄 요약

AtlasNet은 다중 학습 가능한 2D 패치를 조합해 3D 표면으로 매핑하는 점진적 방식으로 고해상도 메쉬와 점 기반 기준보다 개선된 일반화를 가능하게 합니다. ShapeNet에서 메쉬 출력으로 자동 인코딩 및 단일 뷰 재구성을 시연합니다.

ABSTRACT

We introduce a method for learning to generate the surface of 3D shapes. Our approach represents a 3D shape as a collection of parametric surface elements and, in contrast to methods generating voxel grids or point clouds, naturally infers a surface representation of the shape. Beyond its novelty, our new shape generation framework, AtlasNet, comes with significant advantages, such as improved precision and generalization capabilities, and the possibility to generate a shape of arbitrary resolution without memory issues. We demonstrate these benefits and compare to strong baselines on the ShapeNet benchmark for two applications: (i) auto-encoding shapes, and (ii) single-view reconstruction from a still image. We also provide results showing its potential for other applications, such as morphing, parametrization, super-resolution, matching, and co-segmentation.

연구 동기 및 목표

• 연속 표면을 생성하기 위한 2D에서 3D로의 매개 파라미터 맵핑으로 직접적인 표면 생성 학습을 자극합니다.
• AtlasNet: 3D 표면으로 매핑되는 학습 가능한 2D 매개 파라미터들의 합집합을 제안합니다.
• 강한 메모리 사용 없이도 고충실도 메쉬와 확장 가능한 해상도를 얻을 수 있음을 보여줍니다.
• ShapeNet에서 자동 인코딩 및 단일 뷰 재구성 시연과 형태 간 간이 변형, 매개화, 대응 등의 응용을 탐구합니다.

제안 방법

• 3D 모양을 학습 가능한 매개 표면 요소(패치)의 집합으로 표현합니다.
• latent 모양 특징과 2D 좌표를 연결하고 ReLU 활성화를 갖는 MLP를 통해 단위 정사각 샘플을 3D 점으로 매핑하여 표면을 디코드합니다.
• 형상을 덮는 N개의 패치에 걸쳐 생성된 점과 목표 표면 샘플 간의 Chamfer 거리로 학습합니다.
• 2D 패치에서 3D로 정규 메쉬를 전달하여 임의 해상도 샘플링과 텍스처링이 가능하도록 메쉬를 얻습니다.
• 메쉬 품질을 향상시키기 위해 밀도 샘플링 후 포아송 표면 재구성(PSR)으로 보강합니다.
• 인코더(PointNet: 점 구름용; ResNet-18: 이미지를 위한)를 사용해 잠재 표현을 생성하고, 이를 패치 기반 디코더를 조건화합니다.

실험 결과

연구 질문

• RQ1 표면이 3D 모양으로 매핑되는 지역적 2D 매개 파라미터화의 합집합으로 효과적으로 학습될 수 있는가?
• RQ2 AtlasNet이 ShapeNet에서 점 기반 생성 기준보다 정밀도와 일반화를 개선하는가?
• RQ3 패치 기반 표면 생성이 단일 뷰 재구성 및 텍스처링에 적합한 고해상도 메쉬를 생성할 수 있는가?
• RQ4 패치 수가 충실도, 토폴로지 처리 및 보지 않은 범주에 대한 일반화에 어떤 영향을 미치는가?

주요 결과

• AtlasNet은 ShapeNet에서 자동 인코딩 시 Chamfer 거리 및 METRO 메쉬 거리 기준에서 점 기반 기준보다 우수한 성능을 보인다.
• 패치 수를 늘리면 재구성 품질과 새로운 범주에 대한 일반화가 향상된다.
• 메시 품질은 대량의 메모리 비용 없이도 수만 개의 점에 이르는 고해상도 메쉬를 직접 생성할 수 있다.
• RGB 이미지로부터의 단일 뷰 재구성은 일부 보셀/옥트리 기반 기준보다 더 세밀한 표면 디테일을 보존하는 메쉬를 산출한다.
• 추정된 UV 맵을 통한 대응 관계 및 텍스처 매핑 등 형태 보간, 대응 관계, 텍스처 매개화와 같은 응용을 지원한다.