[논문 리뷰] Aerial Imagery Pixel-level Segmentation

Michael R. Heffels, Joaquin Vanschoren|TU/e Research Portal|2020. 12. 03.

Advanced Neural Network Applications참고 문헌 18인용 수 7

한 줄 요약

이 논문은 데이터 증강, 정규화 및 손실 함수 선택을 통해 최적화된 DeepLabv3+ Xception65 아키텍처를 사용하여 항공 영상의 픽셀 수준 세분화에 최신 기술을 제안한다. 이는 DroneDeploy 검증 세트에서 mIOU 69.9%를 기록하고 기존 연구를 크게 앞서는 52.5% mIOU를 테스트 세트에서 기록함으로써 새로운 벤치마크를 수립한다.

ABSTRACT

Aerial imagery can be used for important work on a global scale. Nevertheless, the analysis of this data using neural network architectures lags behind the current state-of-the-art on popular datasets such as PASCAL VOC, CityScapes and Camvid. In this paper we bridge the performance-gap between these popular datasets and aerial imagery data. Little work is done on aerial imagery with state-of-the-art neural network architectures in a multi-class setting. Our experiments concerning data augmentation, normalisation, image size and loss functions give insight into a high performance setup for aerial imagery segmentation datasets. Our work, using the state-of-the-art DeepLabv3+ Xception65 architecture, achieves a mean IOU of 70% on the DroneDeploy validation set. With this result, we clearly outperform the current publicly available state-of-the-art validation set mIOU (65%) performance with 5%. Furthermore, to our knowledge, there is no mIOU benchmark for the test set. Hence, we also propose a new benchmark on the DroneDeploy test set using the best performing DeepLabv3+ Xception65 architecture, with a mIOU score of 52.5%.

연구 동기 및 목표

• 비항공 데이터셋에서의 최신 기술 세분화 성능과 항공 영상 간의 성능 격차를 해소하기 위해.
• 다중 클래스 항공 영상 세분화에서 신경망 아키텍처 구성의 최적화를 식별하기 위해.
• 이전에 표준 mIOU 평가가 없었던 DroneDeploy 테스트 세트에 대해 공개 가능한 새로운 벤치마크를 수립하기 위해.
• 데이터 증강, 정규화, 이미지 크기 및 손실 함수가 세분화 성능에 미치는 영향을 조사하기 위해.
• 향후 항공 영상 세분화 연구를 위한 재현 가능하고 고성능 기준선을 제공하기 위해.

제안 방법

• 세분화를 위한 주요 모델로 DeepLabv3+ Xception65 아키텍처를 사용한다.
• 정규화 및 일반화를 향상시키기 위해 랜덤 수평 반전 및 색상 왜곡과 같은 데이터 증강 기법을 적용한다.
• 학습 안정성과 해상도를 최적화하기 위해 배치 정규화 및 500×500 픽셀로 이미지 크기 조정을 수행한다.
• 표준 교차 엔트로피와 포칼 손실을 포함한 여러 손실 함수를 평가하였으며, 후자는 향상된 성능를 보였다.
• TensorFlow의 DeepLabv3+ 코드베이스와 DroneDeploy 데이터셋 파이프라인을 수정하여 커스터마이징된 학습 및 추론을 지원한다.
• 비교 분석을 위해 fastai 및 Keras U-Net 기준선에 커스터마이징된 포칼 손실 함수를 구현한다.

실험 결과

연구 질문

• RQ1 기존 벤치마크보다 높은 성능을 내기 위해 최신 기술 신경망 아키텍처를 항공 영상 세분화에 어떻게 적응시킬 수 있는가?
• RQ2 데이터 증강, 정규화 및 손실 함수 전략 중에서 항공 영상 세분화 작업에서 mIOU를 가장 효과적으로 향상시키는 것은 무엇인가?
• RQ3 공개된 벤치마크가 없었기 때문에, DroneDeploy 테스트 세트에서 현재 모델의 진정된 성능는 무엇인가?
• RQ4 향후 항공 영상 세분화 연구를 위한 표준화되고 고성능 기준선을 수립할 수 있는가?
• RQ5 예를 들어 ResNet50와 같은 인코더 유형과 입력 해상도와 같은 아키텍처 선택 사항이 세분화 정확도에 어떻게 영향을 미치는가?

주요 결과

• DeepLabv3+ Xception65 모델은 DroneDeploy 검증 세트에서 평균 IOU 69.9%를 기록하여 이전 SOTA보다 5% 포인트 높은 성능를 달성한다.
• 제안된 벤치마크는 DroneDeploy 테스트 세트에서 새로운 mIOU 점수 52.5%를 기록하였으며, 이는 이 분할에 대해 공개된 첫 번째 mIOU 기록이다.
• 데이터 증강, 배치 정규화 및 ResNet50 인코더는 실험 전반에서 일관되게 모델 성능을 향상시킨다.
• 5% 초과의 줌 증강, 500×500 픽셀 토일 사이즈, 교대 포칼 손실은 일관된 성능 향상을 이끌지 못했다.
• 16비트 레이저 해상도 데이터의 사용과 적절한 정규화는 고다이나믹 레인지 항공 영상 처리에 필수적이다.
• 이 연구는 아키텍처 선택과 학습 프로토콜이 성능에 상당한 영향을 미치며, 이 설정에서 Xception65가 다른 인코더보다 뛰어난 성능를 보임을 입증한다.