[논문 리뷰] Deep Neural Networks for Semantic Segmentation of Multispectral Remote Sensing Imagery.

Ronald Kemker, Christopher Kanan|arXiv (Cornell University)|2017. 03. 19.

Remote-Sensing Image Classification참고 문헌 21인용 수 9

한 줄 요약

이 논문은 레이블 부족 문제를 해결하기 위해 합성 데이터를 사용하여 다중스펙트럼 원격 감지 영상(MSI)의 의미적 세그멘테이션을 위한 딥 러닝 접근법을 제안한다. 합성 MSI로 DCNN을 초기화함으로써 과적합을 감소시키고, 매우 고해상도 UAV 촬영 MSI를 포함하는 새로운 RIT-18 데이터셋에서 최신 기준 성능을 확립한다.

ABSTRACT

Deep convolutional neural networks (DCNNs) have been used to achieve state-of-the-art performance on many computer vision tasks (e.g., object recognition, object detection, semantic segmentation) thanks to a large repository of annotated image data. Large labeled datasets for other sensor modalities, e.g., multispectral imagery (MSI), are not available due to the large cost and manpower required. In this paper, we adapt state-of-the-art DCNN frameworks in computer vision for semantic segmentation for MSI imagery. To overcome label scarcity for MSI data, we substitute real MSI for generated synthetic MSI in order to initialize a DCNN framework. We evaluate our network initialization scheme on the new RIT-18 dataset that we present in this paper. This dataset contains very-high resolution MSI collected by an unmanned aircraft system. The models initialized with synthetic imagery were less prone to over-fitting and provide a state-of-the-art baseline for future work.

연구 동기 및 목표

• 딥 신경망 학습을 위한 대규모, 주석 처리된 다중스펙트럼 영상(MSI) 데이터셋의 부족 문제를 해결하기 위해.
• 실제 레이블 데이터가 부족한 MSI에서 레이블 부족 문제를 해결하기 위해, 실존하는 레이블 데이터 대신 합성 MSI를 사용해 네트워크를 초기화함으로써.
• 무인 항공기 시스템(UAS)에서 촬영한 고해상도 MSI에 특화된 강력한 딥 러닝 프레임워크를 개발하기 위해.
• 합성 데이터 초기화의 효과성을 새로운 고품질 MSI 기준 데이터셋에서 평가하기 위해.

제안 방법

• 컴퓨터 비전 분야에서의 최신 기술 기반 딥 컨volution 신경망(DCNN) 아키텍처를 MSI 의미적 세그멘테이션에 적응시킴.
• DCNN를 사전 훈련하거나 초기화하기 위해 합성 다중스펙트럼 영상을 생성함으로써 실제 레이블 데이터에 대한 의존도를 감소시킴.
• 평가를 위해 UAV가 촬영한 신규로 도입된 매우 고해상도 MSI 데이터셋인 RIT-18 데이터셋을 사용함.
• 합성 MSI로 초기화한 후 실제 MSI 데이터로의 피니팅을 거쳐 DCNN을 훈련 및 최적화함.
• 초기화 이후 실제 MSI 데이터에서 표준 의미적 세그멘테이션 손실 함수(예: 교차 엔트로피)를 사용해 훈련 과정에서 손실을 계산함.
• RIT-18 테스트 세트에서 표준 세그멘테이션 지표를 사용해 모델의 일반화 능력과 과적합 성능을 평가함.

실험 결과

연구 질문

• RQ1 합성 다중스펙트럼 영상이 실제 MSI 애플리케이션에서 의미적 세그멘테이션을 위한 딥 신경망 초기화에 효과적으로 기여할 수 있는가?
• RQ2 실제 데이터나 무작위 초기화 대비 합성 MSI로 네트워크를 초기화했을 때 과적합 및 성능 측면에서 어떤 차이가 있는가?
• RQ3 제안된 방법이 고해상도 다중스펙트럼 원격 감지 영상에서 의미적 세그멘테이션의 최신 기준 성능을 확립하는가?
• RQ4 제한된 실제 MSI 데이터셋에서 합성 데이터 사용이 모델 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 실제 데이터로 초기화된 모델에 비해 합성 다중스펙트럼 영상으로 초기화된 모델는 과적합이著しく 감소한 것으로 나타났다.
• 합성 초기화 방법은 RIT-18 데이터셋에서 최신 기준 성능을 달성하여 MSI 의미적 세그멘테이션 분야의 새로운 기준을 설정했다.
• 이 방법은 실제 주석 처리된 MSI의 부족함을 보완하기 위해 합성 데이터를 효과적으로 활용하여 모델의 강건성을 향상시켰다.
• RIT-18 데이터셋은 충분한 복잡성과 해상도를 지녀 향후 MSI 세그멘테이션 연구를 위한 신뢰할 수 있는 기준 데이터셋으로 기능할 수 있음을 입증했다.