[논문 리뷰] Hierarchical Surface Prediction for 3D Object Reconstruction

Christian Häne, Shubham Tulsiani외 1명|arXiv (Cornell University)|2017. 04. 03.

3D Shape Modeling and Analysis참고 문헌 31인용 수 29

한 줄 요약

이 논문은 다층의 옥트리 기반 계층적 구조를 사용하여 표면 인접 박자에 집중함으로써 고해상도 3D 볼록 격자를 예측하는 Hierarchical Surface Prediction (HSP) 프레임워크를 제안한다. 점차 높아지는 해상도에서 경계 박자만을 예측함으로써 HSP는 256³ 해상도를 달성하면서도 저해상도 기준선 대비 정확도 향상을 이룩하였으며, 단일 이미지 및 부분 입력 재구성 작업에서 뛰어난 기하학적 세부 정보와 표면 품질을 보여주었다.

ABSTRACT

Recently, Convolutional Neural Networks have shown promising results for 3D geometry prediction. They can make predictions from very little input data such as a single color image. A major limitation of such approaches is that they only predict a coarse resolution voxel grid, which does not capture the surface of the objects well. We propose a general framework, called hierarchical surface prediction (HSP), which facilitates prediction of high resolution voxel grids. The main insight is that it is sufficient to predict high resolution voxels around the predicted surfaces. The exterior and interior of the objects can be represented with coarse resolution voxels. Our approach is not dependent on a specific input type. We show results for geometry prediction from color images, depth images and shape completion from partial voxel grids. Our analysis shows that our high resolution predictions are more accurate than low resolution predictions.

연구 동기 및 목표

• CNN 기반 방법에서 고해상도 3D 볼록 격자 예측의 계산 비용 문제를 해결하기 위해.
• 모든 볼록 격자를 예측하는 대신 표면 인접 볼록 격자에 집중함으로써 기하학적 정확도를 향상시키기 위해.
• 단일 RGB 또는 깊이 이미지와 같은 최소한의 입력으로 최대 256³ 해상도의 고해상도 3D 재구성을 가능하게 하기 위해.
• 고해상도 예측이 저해상도 출력을 업스케일링하는 것보다 더 정확한 결과를 낳는지 입증하기 위해.
• 계층적 정밀 조정을 통해 부분적으로 제공된 저해상도 볼록 격자에서의 형상 보완을 가능하게 하기 위해.

제안 방법

• 프레임워크는 16³에서 시작하여 256³로 진행되는 고해상도로 볼록 격자 블록을 예측하기 위해 계층적 옥트리 구조를 사용한다.
• 각 수준에서 네트워크는 자유 공간, 경계, 점유 공간의 세 가지 레이블 출력을 예측하며, 경계는 더 높은 해상도가 필요한 영역을 나타낸다.
• 경계로 레이블이 지정된 볼록 격자만이 후속 수준에서 재귀적으로 분할되고 정밀 조정되어 계산 비용을 줄인다.
• 각 수준의 특징 맵이 다음 수준의 입력으로 사용되어 다중 척도 감독과 계층적 특징 학습이 가능해진다.
• 최종 고해상도 볼록 격자는 마치징 컷스 알고리즘을 사용하여 임계값을 검증 세트 최적화를 통해 선택함으로써 추출된다.
• 프레임워크는 세 클래스 예측을 위한 교차 엔트로피 손실과 재구성 지표를 위한 미분 가능한 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 최소한의 입력 데이터로 딥러닝을 활용하여 효율적으로 고해상도 3D 재구성을 달성할 수 있는가?
• RQ2 모든 볼록 격자를 균일하게 고해상도로 예측하는 것과 비교해 표면 인접 볼록 격자에 집중함으로써 예측 정확도가 크게 향상되는가?
• RQ3 기하학적 정밀도 측면에서 단순히 저해상도 예측을 업스케일링하는 것보다 계층적 정밀 조정이 더 나은 성능을 내는가?
• RQ4 실제 세계의 이미지(학습 분포 외부의 이미지)에 대해 이 방법이 얼마나 잘 일반화되는가?
• RQ5 부분적으로 제공된 저해상도 볼록 격자에서 이 프레임워크가 완전한 형상을 효과적으로 재구성할 수 있는가?

주요 결과

• HSP는 일반적으로 32³ 또는 64³에 국한된 기준선 대비 훨씬 높은 256³ 해상도 재구성을 달성한다.
• 검증 세트에서 HSP는 64³ 해상도에서 의자에 대해 IoU 43.12%를 기록하여 LR Hard 기준선의 성능을 맞추었다.
• 256³ 해상도에서 HSP는 항공기, 의자, 자동차 모든 카테고리에서 IoU와 대칭 카메라 디스턴스 측정치에서 두 기준선을 모두 능가했다.
• 정성적 결과에서 HSP는 저해상도 기준선 대비 더 높은 표면 품질과 더 세밀한 기하학적 구조를 생성하였으며, 특히 얇은 구조물에서 두드러졌다.
• 모델은 인터넷에서 확보한 실제 세계의 이미지(예: 흰색 배경의 단색 이미지)에도 일반화되어 성공적으로 자동차를 재구성하였다.
• 이 방법은 부분적으로 제공된 저해상도 볼록 격자에서 효과적인 형상 보완을 가능하게 하여 고정밀도로 전체 물체를 재구성할 수 있었다.