[논문 리뷰] Deep learning for semantic segmentation of remote sensing images with rich spectral content

Amina Ben Hamida, Alexandre Benoît외 5명|arXiv (Cornell University)|2017. 12. 05.

Remote-Sensing Image Classification참고 문헌 5인용 수 8

한 줄 요약

이 논문은 다중스펙트럼 Sentinel-2 이미지의 의미적 분할을 위한 3D DenseNet 및 2D 딥 러닝 아키텍처를 제안하며, 노이즈가 있는 저해상도 GlobCover 레이블을 사용하여 성능을 평가한다. 여기서는 SegNet과 같은 깊은 네트워크를 활용한 근사적 추정이 최대 83.9%의 정확도를 달성하는 것으로 나타났으며, 3D 모델은 깊이가 증가함에 따라 성능 향상을 보이나 더 많은 데이터가 필요함을 보여주며, 원격 감지 분할에서 해상도와 레이블 품질 간의 상충 관계를 부각시킨다.

ABSTRACT

With the rapid development of Remote Sensing acquisition techniques, there is a need to scale and improve processing tools to cope with the observed increase of both data volume and richness. Among popular techniques in remote sensing, Deep Learning gains increasing interest but depends on the quality of the training data. Therefore, this paper presents recent Deep Learning approaches for fine or coarse land cover semantic segmentation estimation. Various 2D architectures are tested and a new 3D model is introduced in order to jointly process the spatial and spectral dimensions of the data. Such a set of networks enables the comparison of the different spectral fusion schemes. Besides, we also assess the use of a " noisy ground truth " (i.e. outdated and low spatial resolution labels) for training and testing the networks.

연구 동기 및 목표

• 풍부한 스펙트럼 콘텐츠를 지닌 다중스펙트럼 원격 감지 이미지의 의미적 분할을 위한 딥 러닝 아키텍처 평가.
• 공간적 및 스펙트럼 차원을 동시에 처리하는 데 있어 2D 및 3D 컨volution 신경망 아키텍처의 비교.
• 노이즈가 있으며 오래된 저해상도 참값 레이블(예: 300m 해상도의 GlobCover 2009)을 사용한 딥 네트워크의 학습 및 테스트 가능성 탐구.
• 제한된 및 노이즈가 있는 학습 데이터 하에서 세분화된 및 근사적인 지형 커버 추정 간의 성능 차이 평가.
• Sentinel-2 데이터를 사용하여 스펙트럼 융합 전략 및 모델 깊이의 영향을 분석하고 분할 정확도에 미치는 영향 탐색.

제안 방법

• 공간-스펙트럼 특징을 동시에 학습하는 데 중점을 두어, 수정된 DenseNet 및 SegNet 버전을 포함한 2D 및 3D 컨volution 신경망을 활용해 다중스펙트럼 이미지를 처리.
• 공간적 및 스펙트럼 데이터의 3차원 볼륨을 동시에 처리하기 위해 3D 필터를 적용하는 새로운 3D DenseNet 아키텍처를 도입하여, 다중밴드 특징의 계층적 융합을 가능하게 함.
• 에코더 레이어에서 온 스킵 커넥션을 활용해 고해상도에서의 분할 맵을 개선하는 다중스케일 디코딩 경로를 SegNet 및 DenseNet 변형에 적용.
• 스펙트럼 융합을 위해 각 밴드의 2D 특징 맵을 조기에 연결하거나 공간적 및 스펙트럼적 차원을 동시에 처리하는 엔드 투 엔드 3D 컨볼루션을 사용.
• 20m 해상도의 인터폴레이션된 Sentinel-2 이미지와 300m 해상도의 GlobCover 레이블 간의 학습을 통해 노이즈가 있고 근사적인 참값을 시뮬레이션.
• 두 개의 데이터셋(D1: 구름 제외, D2: 구름를 별도 클래스로 포함)을 사용해 모델 평가를 수행하며, 프랑스, 스위스, 이탈리아 지역을 포함함.

실험 결과

연구 질문

• RQ1 3D 컨볼루션 네트워크는 다중스펙트럼 원격 감지 이미지의 의미적 분할을 위해 공간-스펙트럼 표현을 효과적으로 활용할 수 있는가?
• RQ2 노이즈가 있고 저해상도의 참값(예: 300m 해상도의 GlobCover)을 사용해 학습할 경우, 지형 커버 분할에서 딥 러닝 모델의 성능에 어떤 영향을 미치는가?
• RQ3 고해상도 입력을 사용하되 참값은 근사적인 경우, 세분화된 추정과 근사적 추정 간의 성능 상충 관계는 어떠한가?
• RQ4 조기 2D 융합과 엔드 투 엔드 3D 컨볼루션 간의 다른 스펙트럼 융합 전략이 분할 정확도에 어떤 영향을 미치는가?
• RQ5 SegNet 및 DenseNet과 같은 딥 아키텍처는 제한된 및 노이즈가 있는 데이터셋에서 정확도를 유지할 수 있는가?

주요 결과

• SegNet을 사용한 근사적 지형 커버 추정은 D1 데이터셋(장기간, 구름 없음)에서 66.9%의 전체 정확도, D2 데이터셋(단기간, 구름 있음)에서 83.9%의 정확도를 기록하여 안정적인 시간적 조건에서 뛰어난 성능을 보임.
• 깊이 $e[4,4,4]_{3D}$, $d[4,4,4]$ 및 $g16$를 가진 3D DenseNet 모델은 D2 데이터셋에서 41.2%의 정확도를 기록하여, 모델 깊이가 증가함에 따라 성능 향상이 이루어지지만 충분한 학습 데이터가 없으면 한계에 도달함을 시사.
• 3D 모델을 사용한 세분화된 추정은 D1에서 25.1%에서 30.0%의 정확도, D2에서 39.5%에서 57.9%의 정확도를 기록하여, 노이즈가 있는 레이블 하에서 고해상도 학습이 어려움을 나타냄.
• '인간이 조성한 표면', '노출된 지역', '물체', '구름' 등의 클래스는 잘 탐지되었지만, '비방식 농경지'와 '모자이크 농경지/식생'처럼 유사한 클래스는 레이블 노이즈로 인해 자주 혼동됨.
• SegNet에서 다중스케일 예측 및 평균화 전략을 통해 경계 오류가 감소하고, 특히 참값이 근사적인 경우에 강건성이 향상됨.
• 더 깊은 3D 모델에서는 성능 향상이 관찰되었지만, 특히 세분화된 분할에서 학습을 안정화시키기 위해 상당히 더 많은 데이터가 필요함.