[논문 리뷰] TorontoCity: Seeing the World with a Million Eyes

Shenlong Wang, Min Bai외 8명|arXiv (Cornell University)|2016. 12. 01.

Automated Road and Building Extraction참고 문헌 26인용 수 19

한 줄 요약

TorontoCity는 토론토의 712.5 km²를 커버하는 항공, 드론, 지상 레벨 영상 자료를 포함한 대규모 다중 시점 기준을 제안한다. 고정밀 지ap을 활용해 건물 인스턴스 세분화, 도로 중심선 추출, 의미 레이블링 등의 작업을 위한 다양한 정확한 애너테이션을 생성하며, 최신의 컨volution 네트워크(CNN)가 의미 레이블링 성능은 뛰어나지만 인스턴스 수준 및 기하학적 작업에서는 여전히 어려움을 겪고 있음을 드러낸다.

ABSTRACT

In this paper we introduce the TorontoCity benchmark, which covers the full greater Toronto area (GTA) with 712.5 $km^2$ of land, 8439 $km$ of road and around 400,000 buildings. Our benchmark provides different perspectives of the world captured from airplanes, drones and cars driving around the city. Manually labeling such a large scale dataset is infeasible. Instead, we propose to utilize different sources of high-precision maps to create our ground truth. Towards this goal, we develop algorithms that allow us to align all data sources with the maps while requiring minimal human supervision. We have designed a wide variety of tasks including building height estimation (reconstruction), road centerline and curb extraction, building instance segmentation, building contour extraction (reorganization), semantic labeling and scene type classification (recognition). Our pilot study shows that most of these tasks are still difficult for modern convolutional neural networks.

연구 동기 및 목표

• 기하학, 군집화, 의미 정보를 통합한 대규모 다중 시점 도시 기준의 부족을 해결하기 위해.
• 거대한 도시 데이터셋에 대한 수작업 애너테이션의 비현실성을 해결하기 위해 고정밀 지도를 지상 진실로 대체함으로써.
• 건물 인스턴스 세분화, 윤곽선 추출, 높이 추정과 같은 도시 인식의 도전 과제에 대한 연구를 가능하게 하기 위해.
• 다양한 시점에서 모델 평가가 가능한 스케일러블하고 다중 센서 플랫폼(항공, 드론, 차량 장착)을 제공하기 위해.
• 앞으로의 도시 AI 과제, 예를 들어 외벽 해석, 나무 탐지, 교통 표지판 인식의 기반을 마련하기 위해.

제안 방법

• 3D 건물 모델과 재산 정보 메타데이터를 포함한 고정밀 도시 지도를 활용해 최소한의 인간 감시로 지상 진실 애너테이션을 생성함.
• 항공, 드론, 지상 레벨 영상(예: 파ano라마, 스테레오, LIDAR)을 지도 기반 기준 시스템에 정렬하기 위한 알고리즘 개발.
• 의미 레이블링 및 인스턴스 세분화 결과를 정제하고 경계 정확도를 향상시키기 위해 형태학적 연산(침식, 팽창, 닫힘)을 사용함.
• 검출된 인스턴스에서 건물 윤곽선을 단순화하기 위해 Ramer-Douglas-Peucker 알고리즘을 적용해 다각형 복잡도를 감소시킴.
• ImageNet에서 미세조정하거나 초기 가중치 없이 훈련한 딥 러닝 모델(ResNet, VGG, GoogleNet 등)을 사용해 의미 레이블링 및 장면 분류 등의 작업을 해결함.
• 지면 레벨 도로 세분화 성능 평가에 상향 IoU 및 픽셀 정확도 지표를 활용해 거의 완벽한 성능을 달성함.

실험 결과

연구 질문

• RQ1 고정밀 도시 지도는 대규모 도시 인식 과제에 대해 정확하고 확장 가능한 지상 진실을 효과적으로 생성하는 데 사용될 수 있는가?
• RQ2 현재의 딥 러닝 모델은 항공, 지상, LIDAR 등 다양한 도시 센서 모달리티 간에 얼마나 잘 일반화되는가?
• RQ3 최신의 컨volution 네트워크(CNN)는 건물 인스턴스 세분화 및 윤곽선 추출과 같은 인스턴스 수준 및 기하학적 과제에서 얼마나 잘 성능을 내는가?
• RQ4 의미 레이블링과 비교해 건물 높이 추정 및 도로 중심선 추출과 같은 더 복잡한 과제 사이의 성능 격차는 어느 정도인가?
• RQ5 파노라마 스트리트 뷰 데이터는 고해상도이고 정확한 도시 지도를 자동으로 생성하는 데 사용될 수 있는가?

주요 결과

• 의미 레이블링 및 장면 분류 과제는 높은 성능(예: 사전 훈련된 가중치를 가진 ResNet-152)을 기록해 거시적 수준의 과제에서 강력한 일반화 능력을 보였음.
• 지면 레벨 도로 세분화는 평균 IoU 97.21%와 픽셀 정확도 98.64%를 기록해 현재 모델로는 거의 해결된 과제임을 시사함.
• 건물 인스턴스 세분화 및 윤곽선 추출 과제는 여전히 도전 과제였으며, 형태학적 필터링이 개선에 기여했지만 현재 네트워크의 核심 한계는 해결되지 않았음.
• 항공 영상만으로도 건물 높이 추정 과제는 어떤 네트워크로도 해결되지 않았으며, 딥 러닝 분야에서 여전히 큰 도전 과제로 남아 있음.
• 도로 중심선 및 커브 추출 과제는 중간 수준의 성능를 보였으며, ResNet과 형태학적 필터링이 최고의 성능를 보였지만 여전히 완벽하지는 않았음.
• 초기 연구 결과는 의미 레이블링 및 인식 과제는 해결 가능하지만, 인스턴스 수준 및 기하학적 추론 과제는 여전히 대부분 해결되지 않은 상태임을 드러내며, 새로운 방법 개발의 필요성을 강조함.