[논문 리뷰] Multiview Aggregation for Learning Category-Specific Shape Reconstruction

Srinath Sridhar, Davis Rempe외 3명|arXiv (Cornell University)|2019. 07. 01.

3D Shape Modeling and Analysis참고 문헌 43인용 수 14

한 줄 요약

이 논문은 다양한 수의 RGB 뷰에서 가시 표면과 가림된 표면을 모두 인코딩하는 새로운 3D 형태 표현인 X-NOCS 맵을 제안한다. 순열에 불변하는 2D CNN을 사용하여 다중 뷰 특징을 통합하고 효율적인 합집합 연산을 수행함으로써 고밀도의 카테고리별 형태를 재구성하며, 더 많은 뷰가 제공될수록 성능이 향상되는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We investigate the problem of learning category-specific 3D shape reconstruction from a variable number of RGB views of previously unobserved object instances. Most approaches for multiview shape reconstruction operate on sparse shape representations, or assume a fixed number of views. We present a method that can estimate dense 3D shape, and aggregate shape across multiple and varying number of input views. Given a single input view of an object instance, we propose a representation that encodes the dense shape of the visible object surface as well as the surface behind line of sight occluded by the visible surface. When multiple input views are available, the shape representation is designed to be aggregated into a single 3D shape using an inexpensive union operation. We train a 2D CNN to learn to predict this representation from a variable number of views (1 or more). We further aggregate multiview information by using permutation equivariant layers that promote order-agnostic view information exchange at the feature level. Experiments show that our approach is able to produce dense 3D reconstructions of objects that improve in quality as more views are added.

연구 동기 및 목표

• 가시 표면과 가림된 영역을 포함한 다양한 수의 RGB 뷰에서 카테고리별 3D 형태 재구성을 학습하는 데 도전하는 것.
• 다중 뷰 통합과 호환되는 방식으로 가시 표면과 숨겨진(가림진) 표면 기하학을 모두 인코딩하는 형태 표현을 설계하는 것.
• 순서에 의존하지 않는 다중 뷰 특징 융합을 가능하게 하는 순열에 불변하는 레이어를 사용하여 재구성 품질을 향상시키는 것.
• 고정된 뷰 수가 필요 없이 더 많은 뷰가 추가될수록 정밀도가 향상되는 고밀도 3D 형태 재구성 달성하는 것.
• ShapeNet 카테고리에서 단일 및 다중 뷰 재구성 벤치마크에서 기존 방법들을 능가하는 것.

제안 방법

• NOCS 맵의 확장으로서 X-NOCS 맵을 제안하며, 각 픽셀에 대해 카메라 뷰에서 가장 먼 표면 점을 인코딩함으로써 가림된 기하학을 포착한다.
• SegNet 기반의 2D CNN 인코더-디코더를 사용하여 단일 RGB 이미지에서 NOCS 및 X-NOCS 맵을 예측함으로써 픽셀-3D 대응 관계를 유지한다.
• 다양한 뷰에서 예측된 NOCS 및 X-NOCS 맵들 간의 합집합 연산을 적용하여 완전한 3D 형태 추정을 형성한다.
• 순서에 의존하지 않는 다중 뷰 특징 융합을 가능하게 하기 위해 순열에 불변하는 레이어를 도입하여 정보 교환의 강건성을 향상시킨다.
• 가변적인 뷰 수로 모델을 엔드 투 엔드로 훈련하여 테스트 시에 어떤 수의 뷰라도 추론이 가능하도록 한다.
• 표준 NOCS 공간에서 카메라 자세 추정을 위해 DLT를 사용하여 다양한 뷰 간 일관된 3D 형태 정렬을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 가변적인 수의 RGB 뷰에서 미리 보지 않은 물체 인스턴스의 고밀도 3D 형태를 정확하게 재구성할 수 있는가?
• RQ2 단일 표현이 다중 뷰 통합을 지원할 수 있도록 가시 표면과 가림진 표면 기하학을 어떻게 동시에 인코딩할 수 있는가?
• RQ3 순열에 불변하는 특징 융합은 독립적인 뷰 처리에 비해 다중 뷰 3D 재구성에 얼마나 향상된 성능을 제공하는가?
• RQ4 입력 뷰 수가 증가할수록 재구성 품질이 향상되는가? 또한 모델은 테스트 시 다양한 뷰 수에 대해 일반화 가능한가?
• RQ5 제안된 X-NOCS 표현은 기존 3D 재구성 방법에 비해 정확도와 세부 사항 보존 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 자동차, 비행기, 의자에 대해 단일 뷰 재구성에서 최신 기술 수준의 성능을 달성하며, Chamfer 거리가 각각 0.1569, 0.1855, 0.3803으로 DPC를 능가한다.
• 다섯 뷰를 사용할 경우, 의자에 대해 Chamfer 거리를 0.1576으로 줄였으며, 동일 조건에서 3D-R2N2가 달성한 0.1932보다 유의미하게 뛰어나다.
• 더 많은 뷰가 추가될수록 재구성 품질이 일관되게 향상되며, 다중 뷰 통합의 효과를 입증한다.
• 정성적 결과에서는 3D-R2N2가 다섯 뷰 조건에서도 재구성하지 못하는 암막과 복잡한 윤곽선 같은 세부 사항을 잘 포착한다.
• 순열에 불변하는 네트워크가 입력 뷰 순서에 관계없이 강건한 성능을 보이며, 순서에 의존하지 않는 특징 융합의 성공을 확인한다.
• X-NOCS 표현은 가시 표면과 숨겨진 표면 기하학을 정확하게 예측할 수 있으며, 기준 NOCS 맵에 비해 형태 보완 성능을 향상시킨다.