[논문 리뷰] Large-Scale 3D Shape Reconstruction and Segmentation from ShapeNet Core55

Li Yi, Lin Shao외 48명|arXiv (Cornell University)|2017. 10. 17.

3D Shape Modeling and Analysis참고 문헌 16인용 수 53

한 줄 요약

Point 구름에서의 부품 수준 3D 형태 분할과 이미지로부터의 단일 뷰 3D 재구성이라는 두 가지 작업에 대해 ShapeNet 기반 대규모 벤치마크를 소개하며, 다수의 팀과 새로운 아키텍처가 강력한 성능 향상을 입증합니다.

ABSTRACT

We introduce a large-scale 3D shape understanding benchmark using data and annotation from ShapeNet 3D object database. The benchmark consists of two tasks: part-level segmentation of 3D shapes and 3D reconstruction from single view images. Ten teams have participated in the challenge and the best performing teams have outperformed state-of-the-art approaches on both tasks. A few novel deep learning architectures have been proposed on various 3D representations on both tasks. We report the techniques used by each team and the corresponding performances. In addition, we summarize the major discoveries from the reported results and possible trends for the future work in the field.

연구 동기 및 목표

• 세분화와 재구성을 포괄하는 3D 형태 이해를 위한 대규모 벤치마크를 촉진한다.
• 공정한 비교를 가능하게 하는 공개 학습 데이터와 공식 분할을 제공한다.
• 두 가지 핵심 작업에서 다중 표현 3D 방법(포인트 클라우드, 보셀)을 벤치마크한다.
• 컴퓨터 그래픽스, 비전, 기계 학습 간의 교차 학문적 진전을 촉진한다.

제안 방법

• ShapeNetCore(55개 카테고리)를 두 트랙: 부품 수준 분할 및 단일 이미지 3D 재구성에 활용한다.
• 다양한 3D 표현(포인트 클라우드, 보셀)과 10개 참가 팀의 아키텍처를 평가한다.
• 평가 지표 정의: 분할은 IoU; 재구성은 IoU와 Chamfer Distance.
• 참가자 제출로부터 task-별 방법론적 설명을 제공한다(예: Submanifold Sparse ConvNets, Pd-networks, PointCNN, HSP, DCAE, alpha-GAN).
• 일반화를 평가하기 위한 학습/검증/테스트 세트와 중복 제거된 테스트 세트를 포함한 데이터셋 분할을 공개한다.

실험 결과

연구 질문

• RQ1 ShapeNetCore 데이터에서 3D 부품 분할에 효과적인 딥러닝 아키텍처와 표현은 무엇인가?
• RQ2 다양한 객체 범주에 걸쳐 단일 시각 이미지가 정확한 3D 보셀 재구성으로 얼마나 잘 변환될 수 있는가?
• RQ3 합성 ShapeNet 데이터를 사용한 대규모 3D 형태 이해의 경향과 모범 사례는 무엇인가?

주요 결과

• 참가된 모든 접근 방식은 두 작업 모두에서 딥러닝 기반이었다.
• 다양한 3D 표현(체적, 포인트 클라우드)을 탐구했으며 포인트 클라우드 방식이 특히 인기가 있었다.
• 두 가지 표준 평가 지표(Chamfer 거리와 IoU)가 재구성에서 서로 다른 우승자를 낳아 지표 민감도를 부각시켰다.
• 최고의 분할 방법은 Sparse ConvNets와 밀집 포인트 기반 네트워크와 같은 아키텍처를 사용해 기준선 대비 향상을 보였다.
• 재구성 방법은 계층적이거나 조밀하게 연결된 아키텍처를 통해 고해상도 보셀 출력을 달성할 수 있음을 보였지만 평가지는 지표 선택에 따라 여전히 미묘하다.