[논문 리뷰] Deep Mesh Reconstruction from Single RGB Images via Topology Modification Networks

Junyi Pan, Xiaoguang Han외 3명|arXiv (Cornell University)|2019. 09. 01.

3D Shape Modeling and Analysis참고 문헌 36인용 수 16

한 줄 요약

이 논문은 단일 RGB 이미지에서 복잡한 위상 구조를 고해상도로 재구성할 수 있도록 동적으로 메시 위상을 수정하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이는 점진적인 면 제거와 변형을 통해 단일 genus-0 템플릿 메시에서 복잡한 위상 구조를 고정밀도로 재구성할 수 있게 한다. 제안된 방법은 재구성 정확도와 메시 품질 측면에서 최신 기술보다 뛰어나며, 특히 위상적으로 복잡한 형태에서 뛰어난 성능을 보인다.

ABSTRACT

Reconstructing the 3D mesh of a general object from a single image is now possible thanks to the latest advances of deep learning technologies. However, due to the nontrivial difficulty of generating a feasible mesh structure, the state-of-the-art approaches often simplify the problem by learning the displacements of a template mesh that deforms it to the target surface. Though reconstructing a 3D shape with complex topology can be achieved by deforming multiple mesh patches, it remains difficult to stitch the results to ensure a high meshing quality. In this paper, we present an end-to-end single-view mesh reconstruction framework that is able to generate high-quality meshes with complex topologies from a single genus-0 template mesh. The key to our approach is a novel progressive shaping framework that alternates between mesh deformation and topology modification. While a deformation network predicts the per-vertex translations that reduce the gap between the reconstructed mesh and the ground truth, a novel topology modification network is employed to prune the error-prone faces, enabling the evolution of topology. By iterating over the two procedures, one can progressively modify the mesh topology while achieving higher reconstruction accuracy. Moreover, a boundary refinement network is designed to refine the boundary conditions to further improve the visual quality of the reconstructed mesh. Extensive experiments demonstrate that our approach outperforms the current state-of-the-art methods both qualitatively and quantitatively, especially for the shapes with complex topologies.

연구 동기 및 목표

• 기존의 메시 변형 방법이 고정된 템플릿 위상에 제약을 받고 복잡한 위상 구조를 재구성하지 못하는 한계를 해결하기 위해.
• 단일 genus-0 템플릿 메시에서 동적 위상 적응을 통해 단일 시각 3D 메시 재구성에 엔드 투 엔드 학습을 가능하게 하기 위해.
• 위상 수정과 경계 정밀화를 통합한 유일한 프레임워크를 통해 메시링 품질과 재구성 정확도를 향상시키기 위해.
• 면 제거 과정에서의 경계 부드러움과 최적의 임계값 선택 등의 과제를 점진적 형태 형성 전략을 통해 해결하기 위해.

제안 방법

• 카스케이드 변형 네트워크는 각 정점의 오프셋을 예측하여 재구성된 메시와 진짜 값 사이의 격차를 줄인다.
• 새로운 위상 수정 네트워크는 면 수준의 재구성 오차를 추정하고 높은 오차를 가진 면을 제거하여 메시 위상을 진화시킨다.
• 점진적 형태 형성 프레임워크는 변형과 위상 수정을 번갈아가며 반복적으로 메시 품질과 위상 충실도를 향상시킨다.
• 경계 정밀화 네트워크는 면 제거로 인해 생긴 열린 경계에 부드러움 제약을 적용하여 시각적 품질을 향상시킨다.
• 학습 가능한 임계값 τ를 가진 미분 가능 면 제거 메커니즘을 사용하며, 카프너 거리 최소화를 통해 최적화된다.
• 이 방법은 엔드 투 엔드로 훈련되며, 구형 또는 단위 정사각형과 같은 다양한 초기 메시 유형에 대해 강건하다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크는 단일 RGB 이미지에서 재구성하는 동안 메시 위상을 동적으로 수정할 수 있는가?
• RQ2 면 제거가 어떻게 미분 가능한 메시 재구성 파이프라인에 효과적으로 통합되어 위상 정확도를 향상시킬 수 있는가?
• RQ3 점진적 메시 정밀화 과정에서 재구성 오차 감소와 위상 진화 사이의 최적의 균형 전략은 무엇인가?
• RQ4 경계 정밀화는 면 제거 후 열린 경계의 시각적 품질과 기하 일관성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 3D 색상 자동인코딩에서 카프너 거리 0.655를 달성하여 AtlasNet-25(0.765)를 능가하며, 뛰어난 재구성 정확도를 입증한다.
• τ = 0.1일 때, 전방 및 역방향 카프너 거리 사이의 균형을 잘 맞춰 다양한 형태에서 재구성 오차를 최소화한다.
• 제거 실험 결과 점진적 형태 형성이 메시 품질을 크게 향상시킴을 확인하였으며, 이를 제거할 경우 기하학적 왜곡과 낮은 제거 정확도가 발생한다.
• 경계 정밀화는 시각적 잡음을 줄여 더 깔끔하고 현실적인 메시를 생성하며, 특히 면 제거로 생긴 열린 경계에서 두드러진 효과를 보인다.
• 다양한 초기 메시에 대해 잘 일반화되어 구형 및 단위 정사각형 템플릿 모두에서 일관된 성능을 달성한다.
• 프레임워크는 고정 템플릿 변형 방법이 지원하지 않는 복잡한 위상 구조의 고품질 메시 재구성을 가능하게 하였으며, 그림 1의 정성적 비교를 통해 검증되었다.