[논문 리뷰] HoliCity: A City-Scale Data Platform for Learning Holistic 3D Structures

Yichao Zhou, Jingwei Huang외 5명|arXiv (Cornell University)|2020. 08. 07.

Advanced Vision and Imaging참고 문헌 46인용 수 24

한 줄 요약

HoliCity는 6,300개의 고해상도 풍경사진과 정확한 CAD 모델 정렬을 통해 도시 규모의 3차원 데이터 플랫폼을 제공하며, 평면, 선, 퇄점 등의 통합 3차원 구조 학습에 기여한다. 이는 표면 분할 및 노멀 추정에서 최신 기술 수준의 성능을 달성하며, HoliCity로 훈련된 모델은 실외 환경으로의 일반화 능력이 실내 또는 합성 데이터셋으로 훈련된 모델보다 뛰어나다.

ABSTRACT

We present HoliCity, a city-scale 3D dataset with rich structural information. Currently, this dataset has 6,300 real-world panoramas of resolution $13312 imes 6656$ that are accurately aligned with the CAD model of downtown London with an area of more than 20 km$^2$, in which the median reprojection error of the alignment of an average image is less than half a degree. This dataset aims to be an all-in-one data platform for research of learning abstracted high-level holistic 3D structures that can be derived from city CAD models, e.g., corners, lines, wireframes, planes, and cuboids, with the ultimate goal of supporting real-world applications including city-scale reconstruction, localization, mapping, and augmented reality. The accurate alignment of the 3D CAD models and panoramas also benefits low-level 3D vision tasks such as surface normal estimation, as the surface normal extracted from previous LiDAR-based datasets is often noisy. We conduct experiments to demonstrate the applications of HoliCity, such as predicting surface segmentation, normal maps, depth maps, and vanishing points, as well as test the generalizability of methods trained on HoliCity and other related datasets. HoliCity is available at https://holicity.io.

연구 동기 및 목표

• 통합 3차원 구조 인식 모델 훈련을 위한 고품질 실외 데이터셋 부족 문제를 해결하기 위해.
• 실내, 합성, 실외 실세계 환경 간의 도메인 갭을 극복하기 위해 3차원 시각 작업에서.
• 평면, 와이어프레임, 큐보이드와 같은 고수준 3차원 구조 학습을 위한 통합적이고 정확하며 확장 가능한 데이터 플랫폼을 제공하기 위해.
• 도시 환경에서 표면 분할, 노멀 추정, 깊이 예측을 위한 딥러닝 모델의 강력한 훈련 및 평가를 가능하게 하기 위해.
• 노이즈가 많은 LiDAR 기반 데이터에 의존하는 것을 줄이고, 정밀한 풍경- CAD 정렬에서 유도된 깔끔하고 구조화된 진짜값을 제공하기 위해.

제안 방법

• 6,300개의 실세계 풍경사진(13312×6656 해상도)과 런던 다운타운의 고정밀 CAD 모델을 통합하여 20km² 이상을 커버한다.
• 풍경사진은 중앙 재투영 오차가 0.5도 미만이 되도록 CAD 모델에 공간적으로 정렬되어 정확한 기하학적 정렬을 보장한다.
• 진짜값 애너테이션은 표면 세그먼트, 깊이 맵, 노멀 맵, 퇄점으로 구성되며, 모두 CAD 모델에서 유도되어 풍경사진에서 렌더링된다.
• 풍경사진에서의 저수준 표현(예: 노멀)과 고수준 추상화(예: 평면, 큐보이드)를 동시에 제공함으로써 다중 작업 학습을 지원한다.
• HoliCity, ScanNet, SYNTHIA에서 MaskRCNN, Associative Embedding, PlaneRecover, UNet 등의 베이스라인 모델을 훈련 및 평가하여 비교 분석을 수행한다.
• 실세계, 합성, 실내 벤치마크 간의 모델 강건성 평가를 위해 교차 데이터셋 일반화 실험을 실시한다.

실험 결과

연구 질문

• RQ1 HoliCity로 훈련된 모델은 실내 또는 합성 데이터셋으로 훈련된 모델보다 실세계 실외 환경으로의 일반화 능력이 뛰어나게 되는가?
• RQ2 HoliCity에서 유도된 정확한 3차원 진짜값의 품질은 노이즈가 많은 LiDAR 스캔에서 유도된 것과 비교해 실세계 3차원 시각 작업을 지원하는 데 얼마나 우수한가?
• RQ3 기존 표면 분할 및 노멀 추정 방법들이 도메인 이동으로 인해 실세계 실외 환경에 적용되었을 때 얼마나 실패하는가?
• RQ4 HoliCity와 같은 단일 데이터셋이 통합 3차원 구조 학습 작업을 위한 통합 벤치마크로 기능할 수 있는가?
• RQ5 데이터셋 도메인 다양성이 도시 3차원 시각에서 딥러닝 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• HoliCity에서 테스트할 때 HoliCity로 훈련된 모델은 표면 분할에 대해 AP50가 42.0을 기록하며, ScanNet(5.0) 및 SYNTHIA(36.1)로 훈련된 모델보다 유의미하게 뛰어나다.
• HoliCity에서의 노멀 추정에 대한 평균 각도 오차는 HoliCity로 훈련된 모델이 22.6°이며, ScanNet으로 훈련된 모델은 46.3°이다.
• HoliCity로 훈련된 모델은 SYNTHIA와 같은 합성 실외 데이터셋으로 일반화 성능이 뛰어나 36.1 AP50를 기록하지만, SYNTHIA로 훈련된 모델은 HoliCity에서 단지 1.90 AP50에 그친다.
• HoliCity로 훈련된 MaskRCNN 모델은 표면 세그먼트 정의의 차이에도 불구하고 SYNTHIA에서 건물 표면을 성공적으로 복원하여 강력한 도메인 일반화 능력을 보였다.
• 실내(ScanNet) 또는 합성(SYNTHIA) 데이터셋으로 훈련된 방법들은 실세계 실외 환경으로의 일반화 능력이 떨어지며, HoliCity에서 AP50 점수가 5.0 이하로 떨어진다.
• 결과적으로 HoliCity는 기존 데이터셋이 실제 도시 환경의 복잡성과 다양성을 포괄하지 못하므로, 강력한 실외 3차원 시각 모델을 훈련하기 위해 필수적임을 입증한다.