[논문 리뷰] Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images

Nanyang Wang, Yinda Zhang외 4명|arXiv (Cornell University)|2018. 04. 05.

3D Shape Modeling and Analysis참고 문헌 27인용 수 138

한 줄 요약

Pixel2Mesh는 단일 RGB 이미지에서 differentiable 파이프라인을 사용하여 3D 메시 모델을 생성하며, 3D 정점을 이미지 평면에 투영하고 특징을 풀링하는 방법을 포함합니다. ShapeNet-car 실험에서 octree 기반 보셀 방법을 능가합니다.

ABSTRACT

We propose an end-to-end deep learning architecture that produces a 3D shape in triangular mesh from a single color image. Limited by the nature of deep neural network, previous methods usually represent a 3D shape in volume or point cloud, and it is non-trivial to convert them to the more ready-to-use mesh model. Unlike the existing methods, our network represents 3D mesh in a graph-based convolutional neural network and produces correct geometry by progressively deforming an ellipsoid, leveraging perceptual features extracted from the input image. We adopt a coarse-to-fine strategy to make the whole deformation procedure stable, and define various of mesh related losses to capture properties of different levels to guarantee visually appealing and physically accurate 3D geometry. Extensive experiments show that our method not only qualitatively produces mesh model with better details, but also achieves higher 3D shape estimation accuracy compared to the state-of-the-art.

연구 동기 및 목표

• 단일 RGB 이미지로부터 3D 메쉬 재구성을 가능하게 한다.
• 미분 가능한 특징 풀링과 메시 변형을 학습 가능한 파이프라인에 통합한다.
• 보셀 기반 베이스라인과 비교 평가하고 초기 메쉬에 대한 민감도를 분석한다.

제안 방법

• 카메라 내부 파라미터와 원근 투영을 사용하여 3D 정점을 이미지 평면으로 투영한다.
• 투영된 정점 위치에서 이중 선형 보간을 이용해 이미지 특징을 풀링한다.
• 이미지에서 도출된 특징에 맞추어 메쉬를 변형하고, 표면 매끄러움을 위한 Laplacian 정규화 항을 사용한다.
• ShapeNet 데이터셋에서 octree 기반 보셀 재구성 방법과 비교한다.
• 초기 메쉬 형태에 대한 민감도를 분석하고, 여러 시점에서의 질적 시각화를 제공한다.

실험 결과

연구 질문

• RQ1 미분 가능한 풀링을 갖춘 메시 기반 표현이 단일 이미지로부터의 보셀 기반 재구성과 동등하거나 그 이상으로 성능을 발휘할 수 있는가?
• RQ2 초기 메쉬 선택이 재구성 품질과 강건성에 어떤 영향을 미치는가?
• RQ3 정규화 항(예: Laplacian)이 메쉬 품질과 매끄러움에 미치는 영향은 무엇인가?

주요 결과

• 이 방법은 ShapeNet-car에서 F-score와 Chamfer 유사 지표에서 octree 기반 접근법보다 우수하며 차이를 보입니다 (F-score 72.128 vs 65.335; F-score 2τ 87.247 vs 79.733; CD 0.236 vs 0.361; EMD 1.220 vs 1.273).
• Hausdorff 거리 제거 실험은 전체 모델이 일반적으로 최상의 점수를 달성하며, 라플라시안 정규화가 표면 매끄러움에 기여함을 보여준다.
• 초기 메쉬 형태에 민감하지 않으며, 구(sphere)와 여러 타원체 변형에서 유사한 F-score 및 CD를 보인다.
• 정성적 결과는 매끄러운 표면과 선명한 디테일을 보여주고, 이 모델은 실제 이미지에도 일반화된다.