[논문 리뷰] 3D Shape Reconstruction from Sketches via Multi-view Convolutional Networks

Zhaoliang Lun, Matheus Gadelha외 3명|arXiv (Cornell University)|2017. 07. 20.

3D Shape Modeling and Analysis참고 문헌 52인용 수 30

한 줄 요약

이 논문은 합성된 3D 모델의 2D 선도에서 3D 형태를 재구성하기 위한 딥러닝 기법을 제안한다. 다중 시점 컨볼루션 인코더-디코더 네트워크를 사용하여 여러 시점에서의 깊이 맵과 노멀 맵을 예측하고, 에너지 최소화를 통해 이를 융합하여 고해상도 점군을 생성하며, 최종적으로 다각형 메esh를 출력한다. 이 방법은 볼륨 기반 또는 기준선 방법보다 더 높은 재구성 정확도, 더 나은 토폴로지 유지 및 더 높은 표면 해상도를 달성하며, 정교한 튜닝 없이도 인간이 그린 스케치에 잘 일반화된다.

ABSTRACT

We propose a method for reconstructing 3D shapes from 2D sketches in the form of line drawings. Our method takes as input a single sketch, or multiple sketches, and outputs a dense point cloud representing a 3D reconstruction of the input sketch(es). The point cloud is then converted into a polygon mesh. At the heart of our method lies a deep, encoder-decoder network. The encoder converts the sketch into a compact representation encoding shape information. The decoder converts this representation into depth and normal maps capturing the underlying surface from several output viewpoints. The multi-view maps are then consolidated into a 3D point cloud by solving an optimization problem that fuses depth and normals across all viewpoints. Based on our experiments, compared to other methods, such as volumetric networks, our architecture offers several advantages, including more faithful reconstruction, higher output surface resolution, better preservation of topology and shape structure.

연구 동기 및 목표

• 예술적 디자인에서 흔히 볼 수 있는 흐린, 근사치이거나 노이즈가 있는 2D 선도로부터 정확한 3D 형태를 재구성하는 문제를 해결하기 위해.
• 볼륨 기반 3D 재구성의 한계(저해상도 및 확장성 문제)를 극복하기 위해 시점 기반 표면 표현 방식을 사용하기 위해.
• 합성 데이터로 훈련된 딥러닝 아키텍처를 사용하여 단일 또는 다중 시점 스케치에서 고품질 3D 재구성을 가능하게 하기 위해.
• 입력 시점 간 일관성이나 정밀도가 떨어지는 인간이 그린 스케치에도 잘 일반화될 수 있도록 하기 위해.
• 아티스트가 후속 보정을 위해 사용할 수 있는 안정적인 엔드 투 엔드 프레임워크를 제공하기 위해.

제안 방법

• 딥 인코더-디코더 컨볼루션 신경망이 입력 스케치를 처리하여 형태 정보를 압축된 잠재 표현으로 인코딩한다.
• 디코더가 여러 가상 시점에서의 다중 시점 깊이 맵과 표면 노멀 맵을 예측하여 고해상도 기하학적 감독을 가능하게 한다.
• 에너지 최소화 프레임워크를 통해 모든 시점에서의 깊이 및 노멀 예측을 융합하여 조밀한 3D 점군을 재구성한다.
• 점군이 다각형 메쉬로 변환되며, 입력 윤곽선과의 정렬을 개선하기 위한 선택적 후처리가 가능하다.
• 훈련은 인간이 레이블링한 선도가 필요 없이 자동으로 생성된 3D 형태의 합성 스케치 데이터셋을 사용한다.
• 훈련된 인코더는 모델 컬렉션에서 스케치 기반 3D 형태 검색을 위한 기술적 특징을 생성한다.

실험 결과

연구 질문

• RQ1 정밀하거나 일관성 있는 입력이 없이도 딥러닝 모델이 단일 또는 다중 시점 2D 선도에서 정확한 3D 형태를 재구성할 수 있는가?
• RQ2 깊이 맵과 노멀 맵을 사용한 시점 기반 표현 방식이 볼륨 기반 표현 방식에 비해 재구성 품질과 해상도 측면에서 어떻게 비교되는가?
• RQ3 합성 스케치로 훈련된 모델이 노이즈와 일관성 결여가 있는 실제 인간의 스케치에 얼마나 잘 일반화되는가?
• RQ4 다중 시점 기하 예측 융합이 단일 시점 또는 볼륨 기반 방법보다 더 나은 토폴로지 및 형태의 유지에 기여하는가?
• RQ5 제안된 방법이 기준선 방법(가장 가까운 이웃 검색 포함)보다 입력 스케치와 시각적으로 유사한 3D 재구성을 생성하는가?

주요 결과

• 제안된 방법은 합성 스케치와 인간이 그린 스케치 모두에서 경쟁 방법들보다 유의미하게 낮은 Chamfer 거리와 Hausdorff 거리를 기록하여 기하학적 정확도가 높음을 시사한다.
• 캐릭터 데이터셋에서, 이 방법은 볼륨 교차율, 깊이 및 노멀 맵 오차 등 모든 평가 지표에서 모든 기준선 방법을 앞서며 우수한 성능을 보였다.
• 사람이 만든 물체 데이터셋(기체와 의자)에서도 모든 평가 지표에서 최고 성능을 기록했으며, 통계적으로 유의미한 향상이 있었다.
• 아마존 Mechanical Turk에서 실시한 사용자 연구 결과, 인간 참가자들이 모든 경쟁 방법(가장 가까운 이웃 검색 포함)보다 우리 방법의 재구성 결과를 선호하는 것으로 확인되었다.
• 이 방법은 인간이 그린 스케치에 잘 일반화되어 있으며, 입력 윤곽선이 근사적이거나 일관성이 없더라도 일관된 3D 형태를 생성할 수 있다.
• 네트워크 아키텍처에 U-Net 스위프트 커넥션을 포함시킴으로써 성능 향상이 크게 향상되었으며, 특히 사람의 만든 물체에 대해 중요성을 드러냈다.