[논문 리뷰] DIODE: A Dense Indoor and Outdoor DEpth Dataset

Igor Vasiljevic, Nicholas Kolkin외 9명|arXiv (Cornell University)|2019. 08. 01.

Advanced Vision and Imaging참고 문헌 32인용 수 52

한 줄 요약

DIODE는 단일 센서 세트(FARO Focus S350)를 사용하여 실내외 장면에서 조밀하고 정확한 깊이를 포착한 크고 고해상도 RGB-D 데이터 세트를 제공하며, 도메인 간에 단일화된 깊이 추정이 가능하게 합니다.

ABSTRACT

We introduce DIODE, a dataset that contains thousands of diverse high resolution color images with accurate, dense, long-range depth measurements. DIODE (Dense Indoor/Outdoor DEpth) is the first public dataset to include RGBD images of indoor and outdoor scenes obtained with one sensor suite. This is in contrast to existing datasets that focus on just one domain/scene type and employ different sensors, making generalization across domains difficult. The dataset is available for download at http://diode-dataset.org

연구 동기 및 목표

• 단일 탐지 모달리티를 사용하여 실내 및 실외 환경을 포괄하는 크고 다양한 RGB-D 데이터세트의 필요성을 제시합니다.
• 깊이 맵과 표면 법선 정보를 조밀하고 정확하게 제공하여 고품질 깊이 추정 및 3D 추론을 가능하게 합니다.
• 재현 가능한 평가 및 도메인 간 일반화를 가능하게 하는 표준화된 학습/검증/테스트 분할을 확립합니다.

제안 방법

• FARO Focus S350 레이저 스캐너를 사용하여 실내 및 실외 장면에서 0.6–350 m 범위의 조밀한 깊이를 약 1 mm 정밀도와 거의 1°의 각도 해상도로 수집합니다.
• 다수의 뷰링 프러스텀에 걸쳐 768×1024 RGB 크롭으로 스캔을 정 사영 교정하고 레이 기반 매핑과 RANSAC 기반 평면 적합을 통해 크롭별로 강건한 깊이 맵과 법선을 계산합니다.
• 잘못된 깊이 반환을 걸러내기 위한 자동 유효성 마스크를 생성하고 검증 세트의 문제 영역을 수동으로 마스킹합니다.
• 재현 가능한 평가를 보장하기 위해 중첩되지 않는 시점의 표준 학습/검증/테스트 분할을 제공합니다.

실험 결과

연구 질문

• RQ1 단일 고밀도 RGB-D 센서 설정이 실내 및 실외 양쪽의 정확하고 조밀한 깊이 맵을 생성할 수 있는가?
• RQ2 단일 데이터셋에서 실내/실외를 통합한 모노큘러 깊이 추정이 도메인 특화 RGB-D 데이터셋과 비교하여 어떤 성능을 보이는가?
• RQ3 데이터셋의 규모와 다양성이 실내 및 실외 환경에서 깊이 추정 정확도에 어떠한 영향을 미치는가?

주요 결과

• DIODE는 최대 350 m 범위와 약 1 mm 정밀도로 고밀도 깊이를 제공하며, 실내와 실외 장면을 단일 센싱으로 포괄합니다.
• DIODE에서의 기본 모노큘러 깊이 추정(DenseDepth 아키텍처)을 사용한 벤치마크는 실내/실외 하위집합 간 전이 가능성이 다르게 나타났으며, 전체 실내+실외 데이터셋에서 학습했을 때 전반적으로 더 나은 성능을 보였습니다.
• DIODE의 깊이 분포는 KITTI나 Make3D보다 더 다양하고 넓은 범위를 커버하여, 교차 도메인 깊이 모델의 필요성을 강조합니다.
• 정렬된 크롭 및 깊이 맵은 이전의 실내 전용 또는 실외 전용 데이터셋 대비 깊이 인식 작업의 고해상도 평가를 가능하게 합니다.