[논문 리뷰] A Skeleton-bridged Deep Learning Approach for Generating Meshes of Complex Topologies from Single RGB Images

Jiapeng Tang, Xiaoguang Han외 3명|arXiv (Cornell University)|2019. 03. 12.

3D Shape Modeling and Analysis참고 문헌 37인용 수 9

한 줄 요약

이 논문은 단일 RGB 이미지에서 복잡한 토폴로지 구조를 가진 물체의 고품질 3D 메쉬 재구성을 위한 스켈레톤 브리지드, 단계별 딥 러닝 프레임워크를 제안한다. 곡선형 및 표면 유사 스켈레톤 점을 위한 신규 병렬 디코더를 활용하고, 부피형 정밀 조정 및 그래프 컨volution 알고리즘을 통한 메쉬 변형을 거쳐, 얇고 정교한 구조를 정확하게 재현하면서도 토폴로지 보존을 달성하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper focuses on the challenging task of learning 3D object surface reconstructions from single RGB images. Existing methods achieve varying degrees of success by using different geometric representations. However, they all have their own drawbacks, and cannot well reconstruct those surfaces of complex topologies. To this end, we propose in this paper a skeleton-bridged, stage-wise learning approach to address the challenge. Our use of skeleton is due to its nice property of topology preservation, while being of lower complexity to learn. To learn skeleton from an input image, we design a deep architecture whose decoder is based on a novel design of parallel streams respectively for synthesis of curve- and surface-like skeleton points. We use different shape representations of point cloud, volume, and mesh in our stage-wise learning, in order to take their respective advantages. We also propose multi-stage use of the input image to correct prediction errors that are possibly accumulated in each stage. We conduct intensive experiments to investigate the efficacy of our proposed approach. Qualitative and quantitative results on representative object categories of both simple and complex topologies demonstrate the superiority of our approach over existing ones. We will make our ShapeNet-Skeleton dataset publicly available.

연구 동기 및 목표

• 단일 RGB 이미지에서 3D 표면 재구성을 해결하기 위해, 의자나 테이블처럼 얇고 길쭉한 구조를 가진 복잡한 토폴로지의 물체에 특화된 도전 과제를 다루는 것.
• 기존 방법들이 메쉬 생성 과정에서 토폴로지 보존 및 기하학적 정밀도에 어려움을 겪는 한계를 극복하는 것.
• 스켈레톤 표현 방식의 토폴로지 안정성과 낮은 학습 복잡도를 활용하여 정확한 3D 재구성의 다리 역할을 하는 것.
• 포인트 클라우드, 부피, 메쉬 표현 방식의 장점을 각각 활용하기 위해 단계별 학습 파이프라인을 설계하는 것.
• 여러 단계에서 입력 이미지를 재사용하여 예측 오차를 보정하고 최종 메쉬 품질을 향상시키기 위해 오차 누적을 줄이는 것.

제안 방법

• 단일 RGB 이미지에서 곡선형 및 표면 유사 스켈레톤 성분을 별도로 모델링하기 위해, 병렬 스트림 CurSkeNet과 SurSkeNet을 활용한 새로운 딥 아키텍처가 제안된다.
• 유추된 스켈레톤은 거친 부피 표현으로 변환되며, 전역적 구조 정규화를 통한 부분 부피 합성 기반 3D CNN을 사용하여 계산 비용을 줄이기 위해 정밀 조정된다.
• 초기 스켈레톤 추론에서 발생하는 오차를 보정하기 위해 부피 기반 보정 네트워크가 도입된다.
• 표준 추출 방법(예: 마칭 큐브)을 사용하여 정밀 조정된 부피에서 기본 메쉬를 추출하며, 이는 변형을 위한 초기 기하 구조로 사용된다.
• 기본 메쉬의 정점에 대해 그래프 컨volution 네트워크(GCNN)를 훈련시어, 엔드 투 엔드 최적화를 통해 세밀한 기하학적 세부 정보를 학습한다.
• 파이프라인 전반에 걸쳐 입력 이미지를 다중 단계에서 재사용하여 예측 오차를 보정하고 재구성 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 직접 메쉬 또는 부피 기반 방법과 비교해 복잡한 토폴로지의 물체에 대해 스켈레톤 브리지드 접근 방식이 3D 메쉬 재구성 품질을 향상시키는가?
• RQ2 곡선형 및 표면 유사 스켈레톤 점을 학습하기 위해 병렬 스트림을 사용하는 것이 다양한 스켈레톤 구조를 포괄적으로 포착하는 데 얼마나 효과적인가?
• RQ3 다중 단계 이미지 재사용이 오차 누적을 얼마나 줄이고 최종 메쉬 정밀도를 향상시키는가?
• RQ4 단계별로 포인트 클라우드, 부피, 메쉬 표현 방식을 통합하는 것이 엔드 투 엔드 또는 단일 표현 방식보다 우수한 성능을 내는가?
• RQ5 부피 기반 보정 단계가 잘못된 스켈레톤 추론에서 발생하는 오차를 줄여 메쉬 품질을 크게 향상시키는가?

주요 결과

• 스켈레톤 추론 벤치마크에서 제안된 방법은 Chamfer Distance(1.103 × 10³)가 모든 변종 중에서 가장 낮아, 포인트 전용, 선 전용, 정사각형 전용, 병합 피팅 방법을 모두 능가한다.
• 라플라시안 스무스니스 손실의 포함이 시각적 품질 향상과 노이즈 감소에 기여하며, 다른 모델이 얇은 구조를 포착하지 못하는 것과 대비해 질적 비교에서 뚜렷한 성과를 보였다.
• 시각적 비교 결과, 제안된 방법은 얇은 다리나 막대 구조를 포함한 복잡한 토폴로지를 성공적으로 재구성하지만, OGN 기반 베이스라인은 잘못된 토폴로지로 인해 실패함을 입증했다.
• 부피 기반 보정 네트워크가 스켈레톤 추론에서 메쉬 생성까지의 오차 전파를 효과적으로 줄였으며, 탈락 분석 결과에서 이를 입증했다.
• 특히 긴 얇은 구성 요소를 가진 도전적인 물체 카테고리에서 기존 방법보다 더 정확하고 토폴로지적으로 올바른 메쉬를 생성함으로써, 성능이 뛰어나다.
• 탈락 연구는 단계별 설계의 효과성을 확인하였으며, 각 구성 요소인 스켈레톤 학습, 부피 보정, 메쉬 변형이 최종 성능 향상에 기여함을 입증했다.