[논문 리뷰] DISN: Deep Implicit Surface Network for High-quality Single-view 3D Reconstruction

Qiangeng Xu, Weiyue Wang외 3명|arXiv (Cornell University)|2019. 05. 25.

Advanced Vision and Imaging인용 수 213

한 줄 요약

DISN은 전역 이미지 특징과 투사된 로컬 이미지 특징을 결합하여 단일 이미지로부터 연속적인 부호 거리 함수(SDF)를 예측함으로써, 단일 뷰에서 고품질의 상세한 3D 재구성과 구멍/가느다란 구조를 갖춘 재구성을 가능하게 한다.

ABSTRACT

Reconstructing 3D shapes from single-view images has been a long-standing research problem. In this paper, we present DISN, a Deep Implicit Surface Network which can generate a high-quality detail-rich 3D mesh from an 2D image by predicting the underlying signed distance fields. In addition to utilizing global image features, DISN predicts the projected location for each 3D point on the 2D image, and extracts local features from the image feature maps. Combining global and local features significantly improves the accuracy of the signed distance field prediction, especially for the detail-rich areas. To the best of our knowledge, DISN is the first method that constantly captures details such as holes and thin structures present in 3D shapes from single-view images. DISN achieves the state-of-the-art single-view reconstruction performance on a variety of shape categories reconstructed from both synthetic and real images. Code is available at https://github.com/xharlie/DISN The supplementary can be found at https://xharlie.github.io/images/neurips_2019_supp.pdf

연구 동기 및 목표

• 구멍과 얇은 구조와 같은 미세한 디테일을 보존하는 고품질의 단일 시점 3D 재구성을 목표로 동기를 부여한다.
• 단일 이미지로부터 학습된 암시적 3D 표면 표현(SDF)을 개발한다.
• 투사된 이미지 패치를 활용하는 로컬 특징 추출 모듈을 도입하여 디테일 회복을 향상시킨다.
• 로컬 특징을 위한 3D 포인트의 이미지 투영을 정확하게 가능하게 하도록 카메라 포즈를 추정한다.
• ShapeNet Core에서 최첨단 성능을 입증하고 다중 시점 재구성 및 관련 작업으로 확장한다.

제안 방법

• 3D 모양을 Signed Distance Functions (SDF)로 표현하고 입력 이미지에 주어진 3D 질의 점에 대한 SDF 값을 예측한다.
• CNN 인코더를 사용하여 전역 이미지 특징을 추출하고 6D 회전 형식으로 카메라 포즈를 추정하여 3D 포인트를 이미지 평면에 투영한다.
• 추정된 카메라 매개변수를 사용해 각 3D 질의 포인트를 이미지에 투영하고, 투영 위치의 다중 스케일 특징 맵에서 로컬 특징을 추출한다.
• 로컬, 글로벌, 포인트 특성을 디코더를 통해 결합하여 포인트 특징을 해독하고 SDF 값을 예측한다; 최종 SDF는 로컬 기반 예측과 글로벌 기반 예측의 합이다.
• iso-표면에 근접한 포인트를 강조하도록 SDF 값에 가중된 L1 손실로 학습한다(매개 변수 m1, m2, delta).
• 조밀한 3D 격자를 질의하여 표면을 재구성한 다음, 예측된 SDF에 대해 Marching Cubes를 적용하여 메시를 얻는다.

실험 결과

연구 질문

• RQ1 단일 이미지에서 암시적 표면 표현(SDF)을 학습하여 고세부 3D 모양을 재구성하는 방법은 무엇인가?
• RQ2 전역 특징 외에도 투사된 로컬 이미지 특징을 통합하면 단일 시점 3D 재구성에서 구멍과 얇은 구조의 회복이 개선되는가?
• RQ3 카메라 포즈 추정 정확도가 로컬 특징 기반 SDF 예측 및 최종 기하에 미치는 영향은 무엇인가?
• RQ4 접근법이 실제 이미지에 일반화되며 다중 시점 재구성 또는 형태 보간을 지원할 수 있는가?

주요 결과

• DISN은 ShapeNet Core 범주 전반에서 단일 시점 3D 재구성에 대한 최첨단 성능을 달성했다(정성적 및 정량적 분석에서).
• 투사된 패치를 통한 로컬 이미지 특징의 도입은 전역 특징만 사용하는 경우에 비해 구멍과 얇은 구조와 같은 미세한 세부 정보를 크게 향상시킨다.
• 모델은 연속 SDF 값을 예측하여 보셀/부피 기반 접...
• 대응 관계가 길어져 중간에 잘리는 현상으로 보임