[논문 리뷰] Learning to Recover 3D Scene Shape from a Single Image

Wei Yin, Jianming Zhang외 5명|arXiv (Cornell University)|2020. 12. 17.

Advanced Vision and Imaging참고 문헌 47인용 수 4

한 줄 요약

이 논문은 단일 실외 이미지에서 정확한 3D 장면 형상 복원을 위한 이단계 프레임워크를 제안한다. 먼저 깊이를 알려지지 않은 척도와 이동량까지 예측한 후, 3D 점군 인코더를 사용해 누락된 깊이 이동량과 초점거리 조정 요소를 예측한다. 이 방법은 새로운 이미지 수준 정규화 회귀 손실과 쌍별 표면 법선 회귀 손실을 도입하여 혼합된 다중 소스 데이터에 대한 강건한 훈련을 가능하게 하여, 9개의 미사용된 데이터셋에서 최신 기술 수준의 제로샷 일반화 성능을 달성한다.

ABSTRACT

Despite significant progress in monocular depth estimation in the wild, recent state-of-the-art methods cannot be used to recover accurate 3D scene shape due to an unknown depth shift induced by shift-invariant reconstruction losses used in mixed-data depth prediction training, and possible unknown camera focal length. We investigate this problem in detail, and propose a two-stage framework that first predicts depth up to an unknown scale and shift from a single monocular image, and then use 3D point cloud encoders to predict the missing depth shift and focal length that allow us to recover a realistic 3D scene shape. In addition, we propose an image-level normalized regression loss and a normal-based geometry loss to enhance depth prediction models trained on mixed datasets. We test our depth model on nine unseen datasets and achieve state-of-the-art performance on zero-shot dataset generalization. Code is available at: https://git.io/Depth

연구 동기 및 목표

• 모노크롬 단일 이미지에서 알려지지 않은 깊이 이동량과 초점거리로 인한 정확한 3D 장면 형상 복원 문제를 해결하기 위해.
• 기존 단일 이미지 깊이 모델에서의 이동량 불변 손실의 한계를 극복하여 메트릭 3D 형상 복원을 가능하게 하기 위해.
• 합성 또는 스캔된 데이터로 훈련된 3D 점군 인코더를 활용하여 실외 환경의 새로운 데이터셋에 대한 제로샷 일반화를 가능하게 하기 위해.
• 새로운 훈련 손실을 도입하여 다양한 혼합 데이터셋에서의 단일 이미지 깊이 추정 성능을 향상시켜 기하학적 정확성과 강건성을 향상시키기 위해.
• 이미지 기반 및 3D 점군 기반 사전 지식 간의 도메인 갭을 줄여 더 높은 정확도의 3D 복원 품질을 달성하기 위해.

제안 방법

• 이단계 프레임워크: 첫 번째 단계에서는 CNN 기반 깊이 예측 모듈이 단일 이미지에서 알려지지 않은 척도와 이동량까지 깊이 맵을 예측한다.
• 두 번째 단계에서는 3D 점군 복원 모듈이 학습된 점군 인코더를 사용해 누락된 깊이 이동량과 초점거리 조정 요소를 예측한다.
• 깊이 예측 모델은 깊이를 정규화된 척도-이동량 불변 공간으로 변환하는 새로운 이미지 수준 정규화 회귀 손실을 사용해 훈련되며, 이는 훈련 안정성을 향상시킨다.
• 쌍별 표면 법선 회귀 손실이 도입되어 기하학적 정확도를 향상시키며, 특히 가장자리 및 평면 영역에서 성능 향상을 이룬다. 이는 데이터 품질에 맞는 샘플링 전략을 적용하여 구현된다.
• 합성 및 3D 스캔 데이터를 활용해 점군 인코더를 훈련시켜 이미지 기반 사전 지식과 비교해 도메인 갭을 줄인다.
• 네트워크 내 보조 경로는 역깊이를 출력하며, 순위 매기기 및 정규화된 회귀 손실이 적용되어 다양한 데이터 소스 간 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 깊이 이동량과 초점거리가 알려지지 않은 상태에서, 완전히 데이터 기반의 방법이 단일 실외 이미지에서 정확한 3D 장면 형상을 복원할 수 있는가?
• RQ2 혼합 데이터셋 훈련에서의 이동량 불변 손실 문제를 어떻게 완화하여 메트릭 3D 복원을 가능하게 할 수 있는가?
• RQ3 합성 또는 스캔된 데이터로 훈련된 3D 점군 인코더가 실외 환경의 실제 장면에 대해 형상 정밀화를 위해 일반화 가능한가?
• RQ4 이미지 수준 정규화 회귀 손실과 표면 법선 기반 손실이 이질적인 데이터셋에서 깊이 예측 성능을 어느 정도 향상시키는가?
• RQ5 제안된 프레임워크는 다양한 미사용 데이터셋에 대해 최신 기술 수준의 제로샷 일반화 성능을 달성하는가?

주요 결과

• 제안된 방법은 9개의 미사용된 데이터셋에 대해 제로샷 전이에서 최신 기술 수준의 성능을 달성하여, 훈련 데이터를 초월한 강력한 일반화 능력을 입증한다.
• 누락된 깊이 이동량과 초점거리 조정을 위한 3D 점군 인코더의 사용은 표준 깊이 예측만으로는 달성하기 어려운 3D 형상의 현실성과 정확도를 크게 향상시킨다.
• 이미지 수준 정규화 회귀 손실은 알려지지 않은 척도와 이동량을 가진 다양한 데이터 소스 간 깊이 분포를 표준화함으로써 혼합 데이터셋에서의 훈련 강건성을 향상시킨다.
• 쌍별 표면 법선 회귀 손실은 가장자리 및 평면 영역에서 기하학적 정밀도를 향상시켜 재구성된 3D 형상의 아티팩트를 감소시킨다.
• 질적 결과를 통해 다양한 실외 환경에서 단일 이미지에서 현실적인 3D 장면 형상을 성공적으로 복원함을 검증하였다.
• 저품질 및 고품질 데이터셋 모두에 대해 잘 일반화되며, 깊이 감독 품질의 변동에 대해 강건함을 보였다.