[논문 리뷰] MVPNet: Multi-View Point Regression Networks for 3D Object Reconstruction from A Single Image

Jinglu Wang, Bo Sun외 1명|arXiv (Cornell University)|2018. 11. 23.

3D Shape Modeling and Analysis참고 문헌 27인용 수 6

한 줄 요약

MVPNet는 2차원 격자에 통합된 시점에 의존하는 3D 점군을 생성함으로써 단일 이미지에서 고밀도 3D 객체 표면을 복원하는 다중시점 점군 회귀 네트워크를 제안한다. 이는 효율적인 CNN 처리와 메쉬 복원을 가능하게 하며, 삼각형 메쉬를 통해 3D 표면에 직접적인 이질성을 측정하는 새로운 기하학적 손실을 사용하여 이전 방법보다 정확도를 크게 향상시킨다.

ABSTRACT

In this paper, we address the problem of reconstructing an object's surface from a single image using generative networks. First, we represent a 3D surface with an aggregation of dense point clouds from multiple views. Each point cloud is embedded in a regular 2D grid aligned on an image plane of a viewpoint, making the point cloud convolution-favored and ordered so as to fit into deep network architectures. The point clouds can be easily triangulated by exploiting connectivities of the 2D grids to form mesh-based surfaces. Second, we propose an encoder-decoder network that generates such kind of multiple view-dependent point clouds from a single image by regressing their 3D coordinates and visibilities. We also introduce a novel geometric loss that is able to interpret discrepancy over 3D surfaces as opposed to 2D projective planes, resorting to the surface discretization on the constructed meshes. We demonstrate that the multi-view point regression network outperforms state-of-the-art methods with a significant improvement on challenging datasets.

연구 동기 및 목표

• 딥 러닝을 활용하여 단일 RGB 이미지에서의 3D 객체 복원 문제의 불완전한 성질을 해결하기 위해.
• 보내지 않은 점군 표현 방식과 볼륨 기반 표현 방식의 한계를 극복하기 위해, 구조적이고 시점 기반의 점군 표현 방식을 도입하기 위해.
• 입력 이미지의 시점에 맞춰 3D 점군을 정규 2차원 격자에 통합함으로써 CNN을 이용한 효율적인 학습 및 추론을 가능하게 하기 위해.
• 2D 투영 평면이 아닌 3D 표면의 변형에 기반하는 기하학적 손실을 설계하여 복원 정확도를 향상시키기 위해.
• 특히 오목 구조나 복잡한 형태에서의 세부 사항 복원 능력을 향상시켜 고정밀도이고 고밀도의 3D 복원을 달성하기 위해.

제안 방법

• 3D 표면을 다중시점 점군(MVPC)으로 표현하며, 각 시점의 점군은 이미지 평면에 정렬된 2차원 격자에 저장되며, 픽셀당 3D 좌표와 가시성 정보를 포함한다.
• 가중치 공유된 디코더 브랜치를 가진 인코더-디코더 네트워크가 단일 입력 이미지에서 다수의 시점에 대한 3D 좌표와 가시성을 회귀한다.
• 1-시점 점군(1-VPC)은 2차원 격자 연결성을 이용해 삼각형 메쉬로 삼각분할되어 메쉬 기반 표면을 형성하며, 기하학적 표면 분석이 가능해진다.
• 재구성된 삼각형 메쉬 위에서 표면 변형 적분을 계산하는 새로운 기하학적 손실이 도입되며, 이는 2D 투영 평면이 아닌 3D 공간에서의 이질성을 측정한다.
• 손실은 체적 변형, 예측 신뢰도, 다중시점 일관성을 통합하여 공간 일관성과 음영 처리 능력을 향상시킨다.
• 기하학적 손실을 사용하여 엔드 투 엔드 백프로파게이션으로 네트워크를 학습시켜 3D 표면의 정밀도를 직접 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 정규 2차원 격자에 통합된 시점 기반 3D 표현 방식이 CNN을 활용한 효율적이고 정확한 3D 복원을 가능하게 하는가?
• RQ2 깊이 회귀가 아닌 3D 좌표를 직접 회귀하는 방식이 복원 품질과 안정성을 향상시키는가?
• RQ3 2D 투영 평면가 아닌 3D 표면 변형에 기반하는 기하학적 손실이 성능 향상에 상당한 기여를 하는가?
• RQ4 복잡한 형태, 특히 오목 구조나 세부 사항에 대해 이 방법이 얼마나 잘 일반화되는가?
• RQ5 학습된 특징 공간이 3D 형태의 의미 있는 보간 및 생성 모델링을 지원하는가?

주요 결과

• MVPNet는 ShapeNet-Chair 데이터셋에서 SOTA 성능을 달성하여 IoU가 0.667을 기록하며, 이는 다음으로 좋은 방법(0.57)보다 큰 격차로 앞서 있다.
• ShapeNet-13 데이터셋에서 MVPNet은 13개 클래스 중 12개에서 IoU 기준으로 모든 이전 방법을 앞서며, 6개 시점에서 10개 클래스에서 최고 성능 기록을 달성했다.
• 기존 기준 방법들(예: 1024개 점)에 비해 훨씬 더 고밀도의 점군(~15,000개 점)을 생성하여, 의자 뒷받통, 기체 尾翼, 자동차 바퀴 등 세부 사항의 복원 능력이 뛰어나다.
• 기하학적 손실은 3D 공간에서 표면 변형을 모델링함으로써 복원 정확도를 크게 향상시키며, 특히 자동차 트렁크나 다층 날개와 같은 오목 영역에서 성능 향상이 두드러진다.
• 직접 3D 좌표를 회귀하는 방식이 깊이 회귀보다 약 4% 높은 IoU 성능을 기록하며, 3D 공간 내에서 더 민첩하고 안정적인 최적화를 가능하게 한다.
• 정성적 결과에서는 잠재 특징의 선형 보간에서 매끄럽고 점진적인 전이가 관찰되어, 생성 모델링에 적합한 매끄럽고 표현력 있는 특징 공간임을 시사한다.