[논문 리뷰] Satellite Imagery Feature Detection using Deep Convolutional Neural Network: A Kaggle Competition

Vladimir Iglovikov, Sergey Mushinskiy외 1명|arXiv (Cornell University)|2017. 06. 19.

Remote-Sensing Image Classification참고 문헌 8인용 수 148

한 줄 요약

이 논문은 위성 영상의 의미론적 분할을 위한 다파장 U-Net 류의 전형적 합성 신경망을 적용하고, 경계 처리와 함께 결합 손실을 도입하며, Heavy ensembling 없이 DSTL Kaggle 대회에서 3위를 달성합니다.

ABSTRACT

This paper describes our approach to the DSTL Satellite Imagery Feature Detection challenge run by Kaggle. The primary goal of this challenge is accurate semantic segmentation of different classes in satellite imagery. Our approach is based on an adaptation of fully convolutional neural network for multispectral data processing. In addition, we defined several modifications to the training objective and overall training pipeline, e.g. boundary effect estimation, also we discuss usage of data augmentation strategies and reflectance indices. Our solution scored third place out of 419 entries. Its accuracy is comparable to the first two places, but unlike those solutions, it doesn't rely on complex ensembling techniques and thus can be easily scaled for deployment in production as a part of automatic feature labeling systems for satellite imagery analysis.

연구 동기 및 목표

• 다양한 위성 영상 클래스의 정확한 픽셀 수준 분류를 지도하여 맵핑, 모니터링, 재해 대응에 기여한다.
• 전역 합성 신경망을 다파장 원격 감지 데이터에 적용하고 데이터 융합 전략을 평가한다.
• 경계 효과와 데이터 불균형을 다루기 위한 학습 목표 및 파이프라인 조정을 개발한다.
• 특히 과소 표현 클래스의 분할 성능 향상을 위해 반사도 지표와 증강의 역할을 평가한다.

제안 방법

• RGB, M-band, 반사도 지표의 조기 융합을 포함한 다파장 입력에 대한 전통적인 합성 신경망(U-Net)의 적용
• 이진 교차 엔트로피와 Jaccard 지수(IoU)의 미분 가능 근사치를 결합한 결합 손실을 사용해 분할 마스크를 학습
• Dih4 변환과 112x112 입력 패치 기반 학습을 포함한 데이터 증강과 128채널 배치를 적용
• 출력에 잘라내기 층을 추가하고 패딩 영역에 반사 신호를 주어 가장자리 왜곡을 완화하여 경계 효과를 다룬다
• 8개의 대상 클래스마다 클래스별로 분리 모델을 학습하고 패치 기반 예측 전략을 사용하여 제한된 데이터 세트 규모와 클래스 불균형을 관리한다
• 공개 테스트 세트와 비공개 테스트 세트에서 IoU(저위험-합계)로 평가하고 클래스별 결과를 보고한다.

실험 결과

연구 질문

• RQ1 다다파장 U-Net이 다중 스펙트럴 밴드를 조기 융합해 작은 위성 데이터 세트에서도 경쟁력 있는 의미론적 분할을 달성할 수 있는가?
• RQ2 IoU를 영감을 받은 손실 등 학습 목표 조정이 다파장 원격 감지 데이터의 불균형한 픽셀 분할 품질을 개선하는가?
• RQ3 패치 기반 예측에서의 경계 효과가 정확도에 어떤 영향을 주며, Heavy ensembling 없이 아키텍처 조정으로 완화할 수 있는가?
• RQ4 반사도 지표(CCCI, NDWI 등)가 물길 및 고인 물과 같은 소외된 클래스의 학습 특성 보완에 기여하는가?
• RQ5 단일 다중 클래스 모델보다 클래스별 개별 모델링이 이 설정에서 이점이 있는가?

주요 결과

• 본 접근법은 Kaggle DSTL Satellite Imagery Feature Detection 대회에서 419개 참가자 중 3위를 차지했다.
• 이진 교차 엔트로피와 미분 가능 IoU 대리 목표를 결합한 결합 손실이 분할 학습을 개선했다.
• 처음 여섯 개 클래스를 개별로 모델링하고 경계를 잘라내는 기법을 사용해 경계 인공물을 줄이고 모서리 예측을 개선했다.
• 반사도 지표가 물 관련 클래스와 식생 구분에 도움이 되었으며, 특히 물길과 같은 소외된 클래스에서 지표가 학습된 특징보다 더 좋은 성능을 보였다.
• 클래스별 모델과 패치 기반 입력으로 Heavy 모델 앙상블 없이도 경쟁력 있는 결과를 얻었다.
• 클래스별 IoU 점수는 상당히 달랐으며, Waterway는 공개에서 0.9697, 비공개에서 0.9131, Standing water는 공개 0.6081, 비공개 0.5272이고, 대형 차량은 비교적 낮은 점수를 보였다(예: Vehicle Large: 공개 0.2964, 비공개 0.0331).