[논문 리뷰] Greenhouse Segmentation on High-Resolution Optical Satellite Imagery using Deep Learning Techniques

Orkhan Baghirli, Imran Ibrahimli외 1명|arXiv (Cornell University)|2020. 07. 22.

Remote Sensing and LiDAR Applications참고 문헌 23인용 수 4

한 줄 요약

이 논문은 아제르바이잔의 1.5미터 해상도 옵티컬 위성 영상에서 고정밀 온실 세그먼테이션을 위한 U-Net 기반 딥러닝 프레임워크를 제안한다. 확장된 컨볼루션, 스킵 연결, 이방향 보간법, 가중 이진 크로스엔트로피 + 디스 로스를 통합함으로써, 최고의 모델은 F1 스코어 93.29%를 기록하여 베이스라인 U-Net보다 4.48% 향상되었다.

ABSTRACT

Greenhouse segmentation has pivotal importance for climate-smart agricultural land-use planning. Deep learning-based approaches provide state-of-the-art performance in natural image segmentation. However, semantic segmentation on high-resolution optical satellite imagery is a challenging task because of the complex environment. In this paper, a sound methodology is proposed for pixel-wise classification on images acquired by the Azersky (SPOT-7) optical satellite. In particular, customized variations of U-Net-like architectures are employed to identify greenhouses. Two models are proposed which uniquely incorporate dilated convolutions and skip connections, and the results are compared to that of the baseline U-Net model. The dataset used consists of pan-sharpened orthorectified Azersky images (red, green, blue,and near infrared channels) with 1.5-meter resolution and annotation masks, collected from 15 regions in Azerbaijan where the greenhouses are densely congested. The images cover the cumulative area of 1008 $km^2$ and annotation masks contain 47559 polygons in total. The $F_1, Kappa, AUC$, and $IOU$ scores are used for performance evaluation. It is observed that the use of the deconvolutional layers alone throughout the expansive path does not yield satisfactory results; therefore, they are either replaced or coupled with bilinear interpolation. All models benefit from the hard example mining (HEM) strategy. It is also reported that the best accuracy of $93.29\%$ ($F_1\,score$) is recorded when the weighted binary cross-entropy loss is coupled with the dice loss. Experimental results showed that both of the proposed models outperformed the baseline U-Net architecture such that the best model proposed scored $4.48\%$ higher in comparison to the baseline architecture.

연구 동기 및 목표

• 고해상도 옵티컬 위성 영상에서 온실을 식별하기 위한 강력한 세그먼테이션 파ip라인 개발
• 온실 탐지에서의 척도 변화, 비정규형 형태, 그림자, 대기 왜곡과 같은 과제 해결
• 확장된 컨볼루션과 이방향 업샘플링을 포함한 아키텍처 개선을 통해 베이스라인 U-Net의 세그먼테이션 정확도 향상
• 손실 함수, 데이터 증강, 하드 예외 마이닝이 모델 일반화 및 성능에 미치는 영향 평가
• 기후 친화적인 농업 모니터링을 위한 계산적으로 실현 가능하고 구현 가능한 위성 데이터 기반 솔루션 제공

제안 방법

• 1.5m 해상도의 패닉 샤프닝 및 오р토정렬된 Azersky(Spot-7) 위성 영상(레드,绿色通道, 근적외선 대역 포함) 사용
• 클래스 불균형을 해결하기 위해 64×64 틀릿으로 영상을 분할하고, 양성 클래스 비율 ≥0.1인 틀릿만 유지
• NDVI 및 텍스처 채널을 계산하여 특징을 강화하고, 믹스업, 회전, 반전, 밝기/감마 조정 등의 데이터 증강 기법 적용
• 확장된 컨볼루션과 스킵 연결을 통합한 두 가지 신규 U-Net 변종인 모델 A와 모델 B 설계로 다중 척도적 맥락 포착
• 디코더 경로에서 전치 컨볼루션을 이방향 보간법으로 대체하거나 조합하여 체크리스트 무늬의 아티팩트 감소
• 하드 예외 마이닝(HEM), 적응형 학습률 스케줄링, 가중 이진 크로스엔트로피와 디스 로스의 하이브리드 손실 함수를 통한 트레이닝 최적화

실험 결과

연구 질문

• RQ1 확장된 컨볼루션과 스킵 연결은 고해상도 위성 영상에서 온실 세그먼테이션에 어떤 영향을 미치는가?
• RQ2 전치 컨볼루션을 이방향 보간법으로 대체할 경우 세그먼테이션 품질 향상과 아티팩트 감소에 어떤 영향을 미치는가?
• RQ3 가중 이진 크로스엔트로피와 디스 로스의 조합은 표준 손실 함수 대비 F1 및 AUC 스코어에 어떤 영향을 미치는가?
• RQ4 데이터 증강과 하드 예외 마이닝은 그림자나 nebl로 인한 어려운 조건에서 모델의 강건성에 얼마나 기여하는가?
• RQ5 베이스라인 U-Net과 제안된 모델 간의 아키텍처 차이가 비정규형, 소형 또는 그림자에 갇힌 온실에서의 성능에 어떤 영향을 미치는가?

주요 결과

• 최고의 성능을 보인 모델(B)은 F1 스코어 93.29%를 기록하여, 베이스라인 U-Net보다 4.48% 향상되었다.
• 모델 B는 그림자 또는 비정규형 형태의 온실과 같은 복잡한 상황에서도 모든 객체를 빈틈없이 정확히 세그먼테이션하는 데 뛰어난 성능을 보였다.
• 전치 컨볼루션 대신 이방향 보간법을 사용함으로써 체크리스트 아티팩트가 크게 감소하고 세그먼테이션 마스크의 시각적 품질이 향상되었다.
• 하이브리드 손실 함수(가중 이진 크로스엔트로피 + 디스 로스)는 가장 높은 AUC(95.91%)와 F1 스코어를 기록하여 강력한 일반화 능력과 강건성을 보여주었다.
• 하드 예외 마이닝과 데이터 증강은 특히 악천후 조건에서의 어려운 케이스에서 모델 성능을 크게 향상시켰다.
• 모델 A는 중간 성능을 보였으며, 베이스라인보다는 우수했지만 모델 B에 비해 떨어졌고, 특히 소형 또는 부분적으로 가림을 입은 온실 탐지에서 열세를 보였다.