[논문 리뷰] Learning to Detect 3D Reflection Symmetry for Single-View Reconstruction

Yichao Zhou, Shichen Liu외 1명|arXiv (Cornell University)|2020. 06. 17.

Advanced Vision and Imaging참고 문헌 53인용 수 5

한 줄 요약

이 논문은 단일 RGB 이미지에서 3D 반사 대칭 평면을 탐지하고, 이를 바탕으로 정확한 깊이 추정을 위한 평면 스weep 커스터미널을 구성하는 기하학적 인지 기반 딥러닝 프레임워크인 SymmetryNet을 제안한다. 대칭 하에 존재하는 이미지 내 픽셀 간 대응 관계를 활용함으로써, 비대칭이거나 미리 보지 못한 물체에서도 최신 기술을 능가하는 정확도와 일반화 능력을 달성한다.

ABSTRACT

3D reconstruction from a single RGB image is a challenging problem in computer vision. Previous methods are usually solely data-driven, which lead to inaccurate 3D shape recovery and limited generalization capability. In this work, we focus on object-level 3D reconstruction and present a geometry-based end-to-end deep learning framework that first detects the mirror plane of reflection symmetry that commonly exists in man-made objects and then predicts depth maps by finding the intra-image pixel-wise correspondence of the symmetry. Our method fully utilizes the geometric cues from symmetry during the test time by building plane-sweep cost volumes, a powerful tool that has been used in multi-view stereopsis. To our knowledge, this is the first work that uses the concept of cost volumes in the setting of single-image 3D reconstruction. We conduct extensive experiments on the ShapeNet dataset and find that our reconstruction method significantly outperforms the previous state-of-the-art single-view 3D reconstruction networks in term of the accuracy of camera poses and depth maps, without requiring objects being completely symmetric. Code is available at https://github.com/zhou13/symmetrynet.

연구 동기 및 목표

• 단일 시야 3D 복원의 불안정한 성격을 해결하기 위해 기하학적 사전 지식, 특히 반사 대칭을 통합하여 정확도와 일반화 능력을 향상시키는 것.
• 코arse-to-fine 전략을 사용하여 단일 RGB 이미지에서 3D 거울 평면을 탐지하는 딥러닝 프레임워크를 개발하는 것.
• 대칭에 기인한 픽셀 대응 관계를 활용하여 깊이 예측을 위한 평면 스위프 커스터미널을 구축함으로써 기하학적 일致성을 향상시키는 것.
• 순수 데이터 기반 패tern이 아닌 기하학적 신호에 의존함으로써, 새로운 물체 카테고리와 실제 이미지에 대한 일반화 능력을 향상시키는 것.
• 대칭 기반 기하학적 사전 지식이 순수 학습 기반 접근 방식보다 복원 정밀도와 내성에 뛰어나다는 것을 입증하는 것.

제안 방법

• 이 방법은 입력 RGB 이미지를 다중 척도 특징으로 인코딩하기 위해 백본 특징 추출기를 사용한다.
• 차별 가능(warping) 모듈이 이미지 내 대칭 대응 관계를 기반으로 특징을 투영하여 평면 스위프 커스터미널을 구성한다.
• 커스터미널 네트워크는 반사 대칭에서 유도된 기하학적 제약 조건을 활용하여 3D 커스터미널을 처리하고 깊이 맵을 예측한다.
• 거울 평면 탐지는 코어스 투 파인 전략을 통해 3D 대칭 평면의 정확한 국지화를 가능하게 한다.
• 기하학적 사전 지식을 종단 간(end-to-end) 학습 파이프라인에 통합하여, 네트워크가 대칭 기반 사진 일致성에서 학습할 수 있도록 한다.
• 확률 텐서 내 다수의 깊이 가설 일致성 분석을 통해 깊이 신뢰도 추정을 지원한다.

실험 결과

연구 질문

• RQ1 단일 시야 RGB 이미지에서 반사 대칭을 효과적으로 탐지하여 3D 복원을 이끄는 데에 유용한가?
• RQ2 이미지 내 대칭 대응 관계에서 유도된 평면 스위프 커스터미널이 깊이 추정 정확도를 향상시키는가?
• RQ3 기하학적 대칭 사전 지식을 통합함으로써 순수 데이터 기반 방법에 비해 새로운 물체 카테고리에 대한 일반화 능력이 향상되는가?
• RQ4 대칭이 불완전한 비대칭 또는 실제 세계의 물체에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 대칭 기반 대응 관계 일치성 분석을 통해 네트워크가 신뢰할 수 있는 깊이 신뢰도를 학습할 수 있는가?

주요 결과

• SymmetryNet은 완벽한 대칭이 필요 없더라도 최신 기술 대비 깊이 맵 정확도와 카메라 자세 추정에서 뚜렷한 승리를 거두었다.
• 기하학적 신호에 의존함으로써, 훈련 데이터에 포함되지 않은 새로운 카테고리인 배와 소파와 같은 물체에 대해서도 잘 일반화된다.
• 실제 세계 이미지에서, ShapeNet의 합성 데이터로 훈련된 모델조차도 고품질의 깊이 맵과 정확한 대칭 평면을 생성한다.
• 시각화 결과는 SymmetryNet이 특히 의자 팔걸이와 책상 틀과 같은 복잡한 부분에서 더 선명한 깊이 맵과 더 나은 세부 사항 복원 능력을 보임을 보여준다.
• 깊이 신뢰도 맵은 막힘, 비대칭 또는 무문자 영역에서만 불확실성이 발생함을 확인하며, 이는 기하학적 기대와 일치한다.
• 대칭적이고 비대칭적인 경우 모두 뛰어난 성능을 달성하여, 대칭 기반 기하학적 사전 지식의 내성함을 입증한다.