[논문 리뷰] Semantic Segmentation on Swiss3DCities: A Benchmark Study on Aerial Photogrammetric 3D Pointcloud Dataset

Gülcan Can, Dario Mantegazza외 3명|arXiv (Cornell University)|2020. 12. 23.

Remote Sensing and LiDAR Applications참고 문헌 29인용 수 7

한 줄 요약

이 논문은 취리히, 취그, 다보스의 스위스 도시 3곳에서 촬영한 고해상도, 사진측량 기반 3차원 점군을 포함하는 새로운 벤치마크 데이터셋인 Swiss3DCities를 소개한다. 이 데이터셋은 5개의 클래스로 분류된 의미적 세그먼테이션을 위한 수동 레이블링을 포함한다. PointNet++을 기준 모델로 사용하여, 같은 도시의 데이터로 학습할 경우 교차 도시 학습보다 성능이 유의미하게 뛰어나며(평균 가중 정확도 84.9%), 도시 간 앙상블 모델링을 통해 정확도를 88.1%까지 향상시켰다. 이는 데이터 다양성과 학습 전략이 일반화 성능에 결정적인 영향을 미친다는 것을 시사한다.

ABSTRACT

We introduce a new outdoor urban 3D pointcloud dataset, covering a total area of 2.7 $km^2$, sampled from three Swiss cities with different characteristics. The dataset is manually annotated for semantic segmentation with per-point labels, and is built using photogrammetry from images acquired by multirotors equipped with high-resolution cameras. In contrast to datasets acquired with ground LiDAR sensors, the resulting point clouds are uniformly dense and complete, and are useful to disparate applications, including autonomous driving, gaming and smart city planning. As a benchmark, we report quantitative results of PointNet++, an established point-based deep 3D semantic segmentation model; on this model, we additionally study the impact of using different cities for model generalization.

연구 동기 및 목표

• 자율주행을 초월한 응용 분야에 적합한 고밀도, 고해상도, 완전한 3차원 도시 점군 데이터셋의 부족을 해결하기 위해.
• 3차원 의미적 세그먼테이션 모델의 훈련 및 평가를 위한 개별 점별 의미 레이블링이 포함된 벤치마크 데이터셋을 제공하기 위해.
• 훈련 데이터 분포와 다양한 도시 환경 간의 모델 일반화 성능에 미치는 영향을 조사하기 위해.
• 스마트 시티 계획, AR/VR, 로봇 공학 분야의 연구를 지원하기 위해, 다수의 점군 밀도 변형을 포함한 풍부한 사진측량 기반 데이터셋을 제공하기 위해.

제안 방법

• 다중 로터리 드론(UAV)을 이용해 스위스의 세 도시를 격자 패턴으로 비행하면서 고해상도 항공 영상을 확보하였다.
• 구조에서 운동(SfM) 및 다중 시야 스테레오(MVS) 사진측량 기법을 사용하여 고밀도 3차원 점군을 재구성하였다.
• 세 가지 버전의 데이터셋을 제작하였다: 희박한(750만 점), 정규 밀도(2억 2600만 점), 고밀도(31억 4700만 점)로, 모두 RGB 및 의미 레이블을 포함한다.
• 각 점을 토양, 건축물, 식생, 차량, 도시 자산의 다섯 가지 의미 클래스 중 하나로 수동으로 레이블링하였다.
• 도시별 및 교차 도시 학습을 포함한 다양한 데이터 분할에서 PointNet++을 훈련 및 평가하였으며, 성능 향상을 위해 모델 앙상블 기법을 적용하였다.
• 다양한 훈련 및 평가 도시 조합 간의 성능 비교를 통해 모델 일반화 능력을 정량화하였다.

실험 결과

연구 질문

• RQ1 같은 도시의 데이터로 훈련하고 테스트할 경우와 다른 도시의 데이터로 훈련하고 테스트할 경우 의미적 세그먼테이션 성능에 어떤 차이가 있는가?
• RQ2 다른 도시의 데이터를 결합하여 훈련 데이터 크기를 증가시키는 것이 모델 정확도와 일반화 능력에 어떤 영향을 미치는가?
• RQ3 도시별 모델의 앙상블을 통해 단일 모델을 모든 데이터로 훈련하는 것보다 성능 향상이 이루어지는가?
• RQ4 점군의 밀도 선택이 3차원 의미적 세그먼테이션 모델의 성능에 어떤 영향을 미치는가?
• RQ5 도시 환경의 기하학적 및 의미적 다양성이 3차원 의미적 세그먼테이션에서 모델 일반화에 얼마나 큰 영향을 미치는가?

주요 결과

• 테스트 세트와 동일한 도시의 데이터로 훈련한 모델은 평균 가중 정확도 84.9%를 기록하여, 다른 도시의 데이터로 훈련한 모델(82.3%)보다 유의미하게 높은 성능을 보였다.
• 세 도시의 데이터를 모두 합쳐 단일 모델을 훈련시킴으로써 평균 가중 정확도가 87.6%까지 향상되어, 훈련 데이터 크기 증가의 이점이 입증되었다.
• 세 개의 단일 도시 모델 예측을 평균화하는 앙상블 기법을 통해 최고의 성능인 평균 가중 정확도 88.1%를 달성하였으며, 이는 단일 모델 훈련 및 교차 도시 훈련보다 뛰어난 성능을 보였다.
• 앙상블에 세 번째 모델을 추가함으로써 얻는 성능 향상은 첫 번째 두 모델에 비해 더 작았으며, 이는 앙상블의 수익 감소 현상을 시사한다.
• 결과적으로, 데이터 다양성과 훈련 및 평가 데이터 간 도메인 일치성이 3차원 의미적 세그먼테이션에서 모델 일반화에 결정적인 요소임을 확인하였다.
• 이 데이터셋은 LiDAR 기반과 사진측량 기반 3차원 데이터셋 간 도메인 갭 분석을 가능하게 하여, 향후 도메인 일반화 및 자기지도 학습 연구를 지원한다.