[논문 리뷰] SkeletonNet: A Topology-Preserving Solution for Learning Mesh Reconstruction of Object Surfaces from RGB Images

Jiapeng Tang, Xiaoguang Han외 3명|arXiv (Cornell University)|2020. 08. 13.

3D Shape Modeling and Analysis참고 문헌 80인용 수 5

한 줄 요약

이 논문은 단일 RGB 이미지에서 골격체적 표현을 학습함으로써 3D 메시 재구성 성능을 향상시키는 토폴로지 보존형 딥러닝 프레임워크인 SkeletonNet을 제안한다. 골격점 집합의 브리지드 러닝과 글로벌 가이드드 서브볼륨 합성 모듈을 통해 SkeletonNet은 명시적 메시 변형(SkeGCNN)과 암시적 필드 정규화(SkeDISN)를 모두 가능하게 하여 복잡한 표면의 토폴로지 정확도를 향상시키며, 객체 및 인간 표면 재구성에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper focuses on the challenging task of learning 3D object surface reconstructions from RGB images. Existingmethods achieve varying degrees of success by using different surface representations. However, they all have their own drawbacks,and cannot properly reconstruct the surface shapes of complex topologies, arguably due to a lack of constraints on the topologicalstructures in their learning frameworks. To this end, we propose to learn and use the topology-preserved, skeletal shape representationto assist the downstream task of object surface reconstruction from RGB images. Technically, we propose the novelSkeletonNetdesign that learns a volumetric representation of a skeleton via a bridged learning of a skeletal point set, where we use paralleldecoders each responsible for the learning of points on 1D skeletal curves and 2D skeletal sheets, as well as an efficient module ofglobally guided subvolume synthesis for a refined, high-resolution skeletal volume; we present a differentiablePoint2Voxellayer tomake SkeletonNet end-to-end and trainable. With the learned skeletal volumes, we propose two models, the Skeleton-Based GraphConvolutional Neural Network (SkeGCNN) and the Skeleton-Regularized Deep Implicit Surface Network (SkeDISN), which respectivelybuild upon and improve over the existing frameworks of explicit mesh deformation and implicit field learning for the downstream surfacereconstruction task. We conduct thorough experiments that verify the efficacy of our proposed SkeletonNet. SkeGCNN and SkeDISNoutperform existing methods as well, and they have their own merits when measured by different metrics. Additional results ingeneralized task settings further demonstrate the usefulness of our proposed methods. We have made both our implementation codeand the ShapeNet-Skeleton dataset publicly available at ble at https://github.com/tangjiapeng/SkeletonNet.

연구 동기 및 목표

• 단일 RGB 이미지에서 복잡한 토폴로지 구조를 가진 3D 객체 표면을 재구성하는 데 있어, 존재하는 방법들이 토폴로지 제약 조건이 부족하여 실패하는 문제를 해결하기 위해.
• 재구성 과정에서 기저 객체 표면의 토폴로지 구조를 보존하는 딥러닝 프레임워크를 개발하기 위해.
• 명시적 메시 변형과 암시적 필드 학습을 모두 이끌어내는 구조적 사전 지식으로서의 새로운 골격 표현을 도입하기 위해.
• Point2Voxel 레이어와 1D 곡선 및 2D 시트를 위한 병렬 디코더를 사용하여 골격 표현의 엔드 투 엔드, 미분 가능한 훈련을 가능하게 하기 위해.
• 합성 및 실세계 이미지 모두에서 일반화 능력과 강건성을 입증하기 위해, 인간 신체 재구성까지 포함한 사례에 적용하기 위해.

제안 방법

• SkeletonNet은 골격점 집합에서 체적 골격 표현을 학습하기 위해 브리지드 러닝 전략을 사용하며, 1D 곡선과 2D 시트를 위한 병렬 디코더를 활용한다.
• 저해상도 특징에서 고해상도 골격 볼륨을 정밀하게 복원하기 위해 글로벌 가이드드 서브볼륨 합성 모듈을 도입한다.
• 포인트 클라우드 표현을 볼륨 격자로 변환함으로써 엔드 투 엔드 훈련을 가능하게 하는 미분 가능한 Point2Voxel 레이어를 제안한다.
• 골격 볼륨은 두 가지 후행 모델인 SkeGCNN(명시적 메시 변형용)과 SkeDISN(암시적 필드 정규화용)에서 구조적 사전 지식으로 사용된다.
• SkeGCNN은 골격 특징에 조건화된 그래프 컨volution 네트워크를 사용해 기본 메시를 변형하는 반면, SkeDISN은 다중 척도 골격 특징을 사용해 암시적 필드를 정규화함으로써 토폴로지 보존을 달성한다.
• 인간 신체 재구성에 대해, 이 방법은 PIFu와 Pixel2Mesh를 초월하는 골격 정규화형 픽셀 정렬 암시 함수인 SkePIfu로 확장된다.

실험 결과

연구 질문

• RQ1 학습된 골격 표현은 단일 이미지 재구성 과정에서 복잡한 3D 객체 표면의 토폴로지 구조를 보존할 수 있는가?
• RQ2 토폴로지 보존형 골격 표현은 명시적 메시 변형과 암시적 필드 기반 표면 재구성 양쪽에서 성능 향상에 기여하는가?
• RQ3 제안된 SkeletonNet은 새로운 객체 인스턴스와 실세계 이미지로의 일반화에 얼마나 효과적인가?
• RQ4 골격 표현은 다양한 자세를 가진 인간 신체 재구성 작업에 효과적으로 전이될 수 있는가?
• RQ5 암시적 및 명시적 네트워크에 골격 특징을 통합함으로써 더 정확하고 토폴로지적으로 올바른 재구성을 달성할 수 있는가?

주요 결과

• SkeGCNN은 DeepHuman 데이터셋에서 Chamfer Distance(CD) 4.294 × 10⁻⁴와 IoU 68.37%를 기록하여 Pixel2Mesh(CD: 8.358 × 10⁻⁴, IoU: 50.77%)를 능가했다.
• SkePIFu는 동일한 데이터셋에서 CD 2.329 × 10⁻⁴와 IoU 69.02%를 기록하여 PIFu(CD: 2.990 × 10⁻⁴, IoU: 65.86%)를 능가했다.
• 제안된 SkeletonNet은 길고 얇은 구조를 잘 보존하지만, 의자나 벤치와 같이 작은 구멍을 포함한 객체에서는 어려움을 겪는다.
• 실사진에 대한 정성적 결과는 SkeGCNN과 SkeDISN이 새로운 인스턴스로 잘 일반화되어 토폴로지적으로 정확한 메시를 생성함을 보여준다.
• 제거 분석 결과, 글로벌 가이드드 서브볼륨 합성과 병렬 디코더 설계가 골격 볼륨 품질을 크게 향상시킨다.
• 이 방법은 인간 신체 재구성에 대해 강력한 일반화 능력을 보이며, SkePIfu는 기준 방법보다 더 정확하고 일관된 결과를 도출한다.