[논문 리뷰] Learning to Reconstruct Texture-less Deformable Surfaces from a Single View

Jan Bednařík, Pascal Fua외 1명|arXiv (Cornell University)|2018. 03. 23.

3D Shape Modeling and Analysis참고 문헌 36인용 수 7

한 줄 요약

이 논문은 전통적인 SfS(형상에서 빛의 반사에 의한 형태 추론) 방법의 한계를 극복하기 위해 단일 이미지에서 무늬가 없는 유연한 표면의 3D 형태를 재구성하기 위한 데이터 기반 딥러닝 접근법을 제안한다. 메시 매개변수를 예측하는 대신, CNN을 사용해 밀도 높은 깊이 맵과 법선 맵을 직접 회귀함으로써, 특히 주름이나 접힘이 있는 미세한 디테일을 더 정확하게 포착할 수 있으며, 최신 SfS 방법에 비해 뛰어난 정확도를 달성한다. 이는 재훈련 없이도 새로운 물체에 대해 광범위하게 일반화되며, 최적화 기반 SfS 방법에 비해 수천 배에서 수만 배 빠른 추론 속도를 제공한다.

ABSTRACT

Recent years have seen the development of mature solutions for reconstructing deformable surfaces from a single image, provided that they are relatively well-textured. By contrast, recovering the 3D shape of texture-less surfaces remains an open problem, and essentially relates to Shape-from-Shading. In this paper, we introduce a data-driven approach to this problem. We introduce a general framework that can predict diverse 3D representations, such as meshes, normals, and depth maps. Our experiments show that meshes are ill-suited to handle texture-less 3D reconstruction in our context. Furthermore, we demonstrate that our approach generalizes well to unseen objects, and that it yields higher-quality reconstructions than a state-of-the-art SfS technique, particularly in terms of normal estimates. Our reconstructions accurately model the fine details of the surfaces, such as the creases of a T-Shirt worn by a person.

연구 동기 및 목표

• 무늬가 없고 유연한 표면의 3D 재구성 문제를 단일 이미지에서 해결하고자 하며, 이는 기존의 형상에서 빛의 반사에 의한 형태 추론(SfS) 방법으로서 오랫동안 해결되지 않은 과제이다.
• 무늬가 없는 환경에서 메시 기반 회귀의 한계를 극복하고, 주름이나 자기 그림자와 같은 미세한 기하학적 디테일을 더 잘 포착하고자 한다.
• 재훈련이나 미세조정 없이 다양한 물체 카테고리에 일반화되는 데이터 기반 SfS 프레임워크를 개발하고자 한다.
• 복잡한 조명 조건에서 균일하게 반사되는 유연한 표면에 대해 26,500개의 애너테이션된 샘플을 포함한 대규모 실세계 데이터셋을 구축하고자 한다.
• 최적화 기반 SfS 방법보다 훨씬 더 빠른 추론 속도를 확보하면서도, 향상된 법선 추정 정확도를 바탕으로 고품질의 3D 재구성을 달성하고자 한다.

제안 방법

• 단일 RGB 이미지에서 직접 밀도 높은 깊이 맵과 법선 맵을 예측하기 위해 다중 스트림 컨volution 신경망(CNN)을 학습한다. 이는 메시 파arameter화 과정을 생략한다.
• 실세계에서 촬영된 26,500개의 샘플로 구성된 대규모 실세계 데이터셋을 사용하여 학습한다. 이는 복잡한 변형을 겪는 무늬가 없는 유연한 표면을 담고 있다.
• 지상 진실(ground-truth) 깊이 맵과 법선 맵을 통해 감독 학습을 수행한다. 이는 전체 3D 메시나 복잡한 조명 애너테이션에 비해 상대적으로 쉽게 확보할 수 있다.
• 네트워크 아키텍처는 자기 그림자, 음영, 상호 반사와 같은 복잡한 광학적 효과를 명시적으로 모델링하지 않아도 처리할 수 있도록 설계되어 있다.
• 추론은 단일 피드포워드 프로세스로 수행되어 최적화 기반 SfS 방법이 반복적 해법이 필요한 것과는 대조적으로 실시간 성능을 달성한다.
• 모델은 잘 일반화된다: 예를 들어 티셔츠 카테고리에서 학습한 후, 미세조정 없이도 스웨터나 후디와 같은 다른 카테고리의 의류에 대해서도 정확한 재구성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 복잡한 조명 조건에서 무늬가 없는 유연한 표면을 재구성할 때, 데이터 기반 접근법이 기존의 SfS 방법보다 우월한가?
• RQ2 무늬가 없는 3D 재구성에서 메시 기반 회귀보다 밀도 높은 깊이 및 법선 맵 예측이 더 효과적인가?
• RQ3 단일 물체에서 학습한 모델이 미세조정 없이도 새로운 구조적 차이가 있는 유연한 물체에 일반화되는가?
• RQ4 예상되는 방법이 날카로운 주름이나 접힘이 있는 미세 기하학적 디테일을 얼마나 잘 포착하는가?
• RQ5 최신 SfS 방법과 비교했을 때 재구성 정확도와 추론 속도 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 방법은 평가된 모든 지표에서 최신 SfS 방법 [5]을 능가한다. 티셔츠 테스트 세트에서 평균 각도 오차(mAE)는 18.07° ± 12.71°이며, SIRFS의 30.17° ± 20.26°보다 우수하다.
• 법선 품질 측면에서도 뚜렷한 향상이 있다: 티셔츠에서 지상 진실과 10° 이내의 예측 비율은 66.27%로, SIRFS의 36.63%보다 높다.
• 모델의 일반화 능력은 뛰어나다: 옷과 티셔츠 데이터로 함께 학습한 후, 스웨터와 후디와 같은 새로운 의류에 대해도 성능 향상이 나타나며, mAE는 각각 25.75° ± 16.72°와 24.66° ± 17.36°로 감소한다.
• SIRFS 대비 10,000배 이상 빠른 추론 속도를 확보한다. 이미지당 0.01초(113.653초 대비)로, 반복 최적화 과정이 없기 때문이다.
• 깊이 기반 지표(mD) 역시 일관된 향상을 보였다: 티셔츠의 경우 mD는 우리 방법이 17.18 ± 18.58 mm, SIRFS는 31.09 ± 15.03 mm였다.
• 정성적 결과는 도식 1과 도식 7에서 볼 수 있듯이, 옷의 날카로운 주름과 접힘과 같은 미세한 디테일을 더 잘 복원하고 있음을 보여준다.