[논문 리뷰] Deep Shape-from-Template: Wide-Baseline, Dense and Fast Registration and Deformable Reconstruction from a Single Image

David Fuentes-Jiménez, David Casillas-Pérez외 3명|arXiv (Cornell University)|2018. 11. 19.

Advanced Vision and Imaging참고 문헌 65인용 수 6

한 줄 요약

이 논문은 3차원 템플릿을 사용하여 단일 이미지에서 변형 가능한 물체에 대한 고밀도, 실시간 3차원 재구성 및 정렬을 위한 딥러닝 프레임워크인 DeepSfT를 제안한다. 이는 이전 방법의 한계를 극복하여 광범위한 기준 간격 작동, 일반적인 템플릿 처리, 실재 데이터를 활용한 준지도 학습, 카메라에 영향을 받지 않는 추론을 가능하게 하며, 가림, 흐림, 질감 변화와 같은 도전적인 조건에서도 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

We present Deep Shape-from-Template (DeepSfT), a novel Deep Neural Network (DNN) method for solving real-time automatic registration and 3D reconstruction of a deformable object viewed in a single monocular image.DeepSfT advances the state-of-the-art in various aspects. Compared to existing DNN SfT methods, it is the first fully convolutional real-time approach that handles an arbitrary object geometry, topology and surface representation. It also does not require ground truth registration with real data and scales well to very complex object models with large numbers of elements. Compared to previous non-DNN SfT methods, it does not involve numerical optimization at run-time, and is a dense, wide-baseline solution that does not demand, and does not suffer from, feature-based matching. It is able to process a single image with significant deformation and viewpoint changes, and handles well the core challenges of occlusions, weak texture and blur. DeepSfT is based on residual encoder-decoder structures and refining blocks. It is trained end-to-end with a novel combination of supervised learning from simulated renderings of the object model and semi-supervised automatic fine-tuning using real data captured with a standard RGB-D camera. The cameras used for fine-tuning and run-time can be different, making DeepSfT practical for real-world use. We show that DeepSfT significantly outperforms state-of-the-art wide-baseline approaches for non-trivial templates, with quantitative and qualitative evaluation.

연구 동기 및 목표

• 복잡하고 평면이 아닌, 질감이 약한 템플릿을 가진 변형 가능한 물체에 대해 장기간 해결되지 않은 고밀도, 실시간, 광범위한 기준 간격의 템플릿에서 형태(SfT) 문제를 해결한다.
• 정규 템플릿이 필요하고, 합성 데이터만으로 학습하며 카메라별로 특화된 배포가 필요한 이전의 딥 뉴럴 네트워크(DNN) 기반 SfT 방법의 한계를 극복한다.
• 흐림, 조명 변화, 부분적 가림과 같은 실세계 촬영 조건에서도 견고한 성능을 발휘하도록 한다.
• 물리 기반 제약 조건(준등장성)을 딥러닝과 융합하여 일반화 능력과 정확도를 향상시킨다.
• 실재 데이터를 전적으로 지도하지 않고도 시뮬레이션에서 실세계로의 격차를 줄일 수 있는 준지도 학습 프레임워크를 개발한다.

제안 방법

• 학습된 가중치에 3차원 템플릿을 직접 통합하는 딥 뉴럴 네트워크인 DeepSfT를 제안하여, 아키텍처 재학습 없이도 임의의 복잡한 템플릿으로 일반화할 수 있도록 한다.
• 합성 데이터와 실재 이미지를 조합하는 준지도 학습 절차를 설계하여, 정렬 정밀도 향상 및 시뮬레이션-실세계 도메인 갭 감소를 위한 정렬 정밀도 블록을 활용한다.
• 입력 이미지를 표준 카메라 프레임으로 정규화하는 기하학적 적응 모듈을 도입하여, 재학습 없이도 다양한 카메라에 배포 가능하도록 한다.
• 가능한 렌더링과 광학적 손실을 조합하여 정렬 및 재구성 과정을 종합적으로 지도하며, 준등장성 변형 제약 조건을 강제로 적용한다.
• 두 단계 추론 파이프라인을 활용: 먼저 굵은 변형 매개변수를 예측하고, 그 다음에 고밀도 이미지 블렌딩을 사용하여 정렬 정밀도 블록을 통해 이를 정밀하게 보정한다.
• 강력한 이미지 특징을 추출하기 위해 다중 척도 특징 추출 백본(ResNet-50)을 사용하고, 이후 디코더 헤드를 통해 고밀도 3차원 변형 장을 예측한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 평면이 아니고 질감이 약한 일반적인 템플릿을 가진 물체에 대해 광범위한 기준 간격 조건에서 단일 이미지에서 고밀도, 실시간 3차원 재구성 및 정렬을 달성할 수 있는가?
• RQ2 학습 데이터가 합성 이미지로 제한되고 실재 데이터의 비율이 적을 경우 준지도 학습이 일반화 능력을 어떻게 향상시킬 수 있는가?
• RQ3 기하학적 적응 모듈이 재학습 없이도 다양한 촬영 환경에서 카메라에 영향을 받지 않는 추론을 얼마나 잘 가능하게 하는가?
• RQ4 가능한 렌더링과 물리 기반 변형 사전 지식(준등장성)을 조합하면 순수 학습 기반 접근보다 더 높은 정확도와 견고성을 달성할 수 있는가?
• RQ5 제안된 방법은 도전적인 실세계 조건에서 정확도, 속도, 견고성 측면에서 기존의 비-DNN 기반 SfT 방법과 이전의 DNN 기반 SfT 방법을 모두 능가할 수 있는가?

주요 결과

• DeepSfT는 DS3 데이터셋에서 평균 3차원 재구성 오차 5.52 mm, DS4 데이터셋에서 4.76 mm를 기록하여, 미세조정 후에도 DenseDepth 및 BTS와 같은 최신 단안 깊이 방법을 크게 능가한다.
• 단일 NVIDIA GTX-1080 GPU에서 20.40 fps로 실행되어 실시간 추론이 가능하며, CH17 및 NGO15와 같은 다른 DNN 기반 방법보다 수십 배에서 수백 배 빠르다.
• 실재 데이터를 활용한 준지도 학습은 시뮬레이션-실세계 격차를 줄이며, DS5 데이터셋에서 순수 합성 학습 대비 광학적 오차를 최대 55% 감소시켜(0.380에서 0.345로) 성능 향상을 보였다.
• 정렬 정밀도 블록은 DS2에서 광학적 오차를 83% 감소시켜(0.090에서 0.015로) 고밀도 대응 정확도 향상의 명확한 증거를 보였다.
• DeepSfT는 도전적인 조건에서도 견고하게 일반화된다: 흐림, 조명 변화, 부분적 가림 조건에서도 이전 방법이 치명적인 실패를 겪는 상황에서도 낮은 오차를 유지한다.
• 비평면적이고 질감이 약한 물체인 공룡과 신발과 같은 물체를 포함해 모든 테스트 데이터셋(DS1–DS5)에서 최신 기술 수준의 성능을 달성했으며, 이전 방법이 효과적으로 다룰 수 없었던 물체들에 대해서도 유의미한 성능 향상을 보였다.