[논문 리뷰] Better Patch Stitching for Parametric Surface Reconstruction

Zhantao Deng, Jan Bednařík외 2명|arXiv (Cornell University)|2020. 10. 14.

3D Shape Modeling and Analysis참고 문헌 39인용 수 7

한 줄 요약

이 논문은 파츠별 매핑을 사용한 매개변수 표면 재구성에서 글로벌 일관성을 향상시키기 위해 손실 기반의 새로운 방법을 제안한다. 표면 법선 일관성과 스티칭 오차 최소화 손실을 도입함으로써, 구멍이나 날카로운 표면과 같은 시각적 잡음 요소를 줄이며, 이전 방법에 비해 최신 기술 수준의 법선 추정 정확도와 상당히 향상된 시각적 품질을 달성한다.

ABSTRACT

Recently, parametric mappings have emerged as highly effective surface representations, yielding low reconstruction error. In particular, the latest works represent the target shape as an atlas of multiple mappings, which can closely encode object parts. Atlas representations, however, suffer from one major drawback: The individual mappings are not guaranteed to be consistent, which results in holes in the reconstructed shape or in jagged surface areas. We introduce an approach that explicitly encourages global consistency of the local mappings. To this end, we introduce two novel loss terms. The first term exploits the surface normals and requires that they remain locally consistent when estimated within and across the individual mappings. The second term further encourages better spatial configuration of the mappings by minimizing novel stitching error. We show on standard benchmarks that the use of normal consistency requirement outperforms the baselines quantitatively while enforcing better stitching leads to much better visual quality of the reconstructed objects as compared to the state-of-the-art.

연구 동기 및 목표

• 강력한 정량적 성능에도 불구하고 지속되는 시각적 잡음 요소(예: 구멍, 날카로운 표면)를 해결하기 위해 파라미터 표면 재구성에서 파츠 기반 접근 방식의 시각적 품질을 향상시키기 위해.
• 학습 중에 상호 파트 간 의존성을 명시적으로 모델링하여 파트 간 글로벌 일관성을 향상시키기 위해.
• 표면 법선 추정 정확도를 유지하면서도, 특히 표면 법선 추정에서의 정량적 재구성 정확도를 훼손하지 않고도 시각적 품질을 향상시키기 위해.
• 렌더링 및 애니메이션 등의 응용 분야에서 재구성된 표면을 원활하게 활용할 수 있도록 하기 위해.
• 기존의 파츠 기반 표면 모델에 호환되는 플러그 앤 플레이 손실 프레임워크를 도입하기 위해.

제안 방법

• 파라미터 표면의 $C^1$ 스무스함을 확보하기 위해, 파트 내부 및 파트 간 표면 법선을 일치시키는 표면 법선 일관성 손실을 도입한다.
• 이웃한 파트 간의 공간적 비일치를 최소화하여 오버랩, 교차, 구멍 등의 문제를 줄이기 위해 새로운 스티칭 오차 손실을 제안한다.
• 기존의 파츠 기반 모델(예: DSP)의 학습 목표에 두 손실 항목을 통합함으로써 아키텍처 변경 없이 통합한다.
• 저편향과 높은 표면 피팅 정확도를 유지하면서도, 미분 가능 신경망을 사용해 파트 매핑을 최적화한다.
• Chamfer Distance와 표면 법선 각도 오차를 주요 평가 지표로 사용하여, 표준 벤치마크(ShapeNet)에서 학습한다.
• PCA와 SVR 작업 모두에 이 방법을 적용하여 정량적 및 정성적 성능을 평가한다.

실험 결과

연구 질문

• RQ1 표면 법선 간의 명시적 파트 간 일관성은 재구성된 3D 표면의 시각적 품질을 향상시킬 수 있는가?
• RQ2 새로운 스티칭 오차 손실을 최소화하면, 파트 기반 재구성에서 구멍이나 오버랩과 같은 시각적 잡음 요소가 감소하는가?
• RQ3 Chamfer Distance나 표면 법선 각도 오차와 같은 정량 지표를 훼손하지 않으면서도, 시각적 품질을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 손실 항목은 기존 최신 기술 수준의 파츠 기반 표면 모델에 효과적으로 통합될 수 있는가?
• RQ5 매개변수 표면 재구성에서 정량적 정확도와 시각적 정밀도 사이에 트레이드오프가 존재하는가, 그리고 이를 완화할 수 있는가?

주요 결과

• 표면 법선 일관성 손실은 표면 법선 추정 정확도를 향상시켜, 모든 ShapeNet 카테고리에서 각도 오차 측면에서 최신 기술 수준의 성능을 달성한다.
• SVR 작업에서 표면 법선 일관성 손실은 평균 각도 오차를 DSP의 38.85에서 OURS_st^8의 24.75로 감소시켜 뚜렷한 향상을 보였다.
• 스티칭 손실만으로도 평면 카테고리에서 스티칭 지표 $m_S$ 가 DSP의 1.79에서 OURS_st^4의 0.539로 감소하여 더 나은 파트 정렬을 나타냈다.
• 정성적 결과에서는 눈에 띄는 시각적 향상이 관찰되었으며, 색상 번짐(파일럿의 겹침을 나타냄)이 더 자주 발생하고 일관되게 나타나, 눈에 띄는 틈새와 구멍이 감소했다.
• 두 손실 항목의 조합($\text{OURS}_{\text{st}}$)은 정량 지표인 CD가 약간 증가하더라도 가장 뛰어난 시각적 품질을 제공했으며, 더 매끄러운 표면과 더 적은 잡음 요소를 확보했다.
• 이 방법은 보편적으로 적용 가능하며, 아키텍처 변경 없이도 기존의 파츠 기반 표면 모델에 통합될 수 있다. 이는 최신 기술 수준의 DSP 프레임워크 내에서의 구현을 통해 입증되었다.