[논문 리뷰] UAVid: A Semantic Segmentation Dataset for UAV Imagery

Ye Lyu, George Vosselman외 3명|arXiv (Cornell University)|2018. 10. 24.

Advanced Neural Network Applications참고 문헌 42인용 수 9

한 줄 요약

이 논문은 30개의 비디오 시퀀스로 구성된 고해상도 의미적 세분화 데이터셋인 UAVid를 소개한다. 이 데이터셋은 기울어진 무인 항공기(UAV) 시점에서 촬영되었으며, 8개의 클래스와 300장의 고밀도로 레이블링된 4K 이미지를 포함한다. 제안된 다중 척도 팽창 네트워크(Multi-Scale-Dilation net)는 평균 IoU 약 50%를 달성하여 기존의 기준 모델들보다 1.6% 이상 뛰어나며, FSO와 3D CRF를 활용한 공간-시간 정규화를 통해 추가로 약 0.5% 향상된다.

ABSTRACT

Semantic segmentation has been one of the leading research interests in computer vision recently. It serves as a perception foundation for many fields, such as robotics and autonomous driving. The fast development of semantic segmentation attributes enormously to the large scale datasets, especially for the deep learning related methods. There already exist several semantic segmentation datasets for comparison among semantic segmentation methods in complex urban scenes, such as the Cityscapes and CamVid datasets, where the side views of the objects are captured with a camera mounted on the driving car. There also exist semantic labeling datasets for the airborne images and the satellite images, where the top views of the objects are captured. However, only a few datasets capture urban scenes from an oblique Unmanned Aerial Vehicle (UAV) perspective, where both of the top view and the side view of the objects can be observed, providing more information for object recognition. In this paper, we introduce our UAVid dataset, a new high-resolution UAV semantic segmentation dataset as a complement, which brings new challenges, including large scale variation, moving object recognition and temporal consistency preservation. Our UAV dataset consists of 30 video sequences capturing 4K high-resolution images in slanted views. In total, 300 images have been densely labeled with 8 classes for the semantic labeling task. We have provided several deep learning baseline methods with pre-training, among which the proposed Multi-Scale-Dilation net performs the best via multi-scale feature extraction. Our UAVid website and the labeling tool have been published https://uavid.nl/.

연구 동기 및 목표

• 도시 환경에서 기울어진 UAV 영상에 대한 대규모 고해상도 의미적 세분화 데이터셋의 부족을 해결하기 위해.
• 상부 및 측면 시점의 도시 객체를 모두 캡처하는 기준 데이터셋을 제공하여 더 나은 객체 인식과 장면 이해를 가능하게 하기 위해.
• 척도 변화, 이동 중인 객체, 시간적 일관성 등의 과제를 도입함으로써 UAV 영상에 대한 의미적 세분화 기법을 발전시키기 위해.
• UAV 기반 의미적 세분화에서 딥 러닝 모델과 공간-시간 정규화 기법을 평가하기 위해.
• UAVid 웹사이트를 통해 데이터셋, 레이블링 도구, 기준 모델을 공개함으로써 향후 연구를 촉진하기 위해.

제안 방법

• 기울어진 시점에서 촬영된 30개의 4K 고해상도 UAV 영상 시퀀스를 수집하여 도시 거리 풍경을 캡처하고, 다양한 객체 크기와 동적 요소를 포함한다.
• 밀도 있는 픽셀 수준의 레이블링을 위해 8개의 의미 클래스를 정의한다: 건물, 도로, 보도, 울타리, 식생, 자동차, 사람, 이동 중인 자동차.
• 전이 학습과 사전 학습을 활용하여 다양한 딥 러닝 아키텍처(예: FCN-8s, U-Net, Dilation Net, MS-Dilation net)를 훈련 및 평가한다.
• 다중 수용장역할을 가진 특징 추출을 향상시켜 척도 변화에 대한 강건성을 높이기 위해 다중 척도 팽창 네트워크(Multi-Scale-Dilation net)를 제안한다.
• 시공간 일관성을 향상시키기 위해 특징 공간 최적화(FSO)와 3차원 조건부 랜덤 필드(CRF)를 활용한 공간-시간 정규화를 적용한다.
• 효율성을 위해 8배로 축소된 옵티컬 플로우 추정과 궤적 계산을 활용하여 순차적 프레임에서 FSO와 3D CRF의 정밀 조정을 유도한다.

실험 결과

연구 질문

• RQ1 기존의 의미적 세분화 데이터셋과 비교할 때, 제안된 UAVid 데이터셋은 이미지 시점, 해상도, 장면 복잡성 측면에서 어떻게 다를까?
• RQ2 기울어진 시점과 고해상도 입력을 가진 UAV 영상에서 최신 딥 러닝 모델의 성능은 어떠한가?
• RQ3 다중 척도 특징 추출은 UAVid에서 의미적 세분화 정확도 향상에 얼마나 기여하는가?
• RQ4 FSO와 3D CRF를 통한 공간-시간 정규화는 시간적 일관성과 IoU 점수 향상에 얼마나 효과적인가?
• RQ5 현재 모델은 UAV 영상 시퀀스에서 소형 또는 이동 중인 객체(예: 보행자, 이동 중인 자동차)를 다루는 데에서 어떤 한계를 지니는가?

주요 결과

• 제안된 다중 척도 팽창 네트워크는 약 50%의 평균 교차율(IoU) 점수를 달성하여 다른 기준 모델들보다 1.6% 이상 뛰어나다.
• FSO와 3D CRF를 활용한 공간-시간 정규화는 모든 모델에서 추가로 약 0.5%의 IoU 향상을 이끌어내며, 더 큰 객체 클래스에서 더 뚜렷한 성과를 보인다.
• 사람 및 이동 중인 자동차 클래스는 FSO 정밀 조정 후 성능 저하가 가장 크게 나타나며, 사람 클래스의 경우 약 4% 감소한다. 이는 소형 또는 동적 객체를 모델링하는 데서의 과제를 시사한다.
• FSO 후처리 단계는 대부분의 클래스에서 IoU 향상을 이끌어내며, 대부분의 클래스에서 약 1%의 향상이 이루어지지만 정적 자동차 및 이동 중인 자동차 클래스에서는 개선이 미미하거나 부정적인 경우가 있다.
• 정성적 결과는 공간-시간 정규화가 특히 복잡한 객체 경계에서 프레임 간에 더 일관되고 조화로운 예측을 이끌어내는 데 기여함을 보여준다.
• UAVid 데이터셋은 전용 웹사이트와 레이블링 도구를 통해 공개되어 있어 향후 연구의 재현성과 기준 설정을 가능하게 한다.