[논문 리뷰] M3Fusion: A Deep Learning Architecture for Multi-{Scale/Modal/Temporal} satellite data fusion

Paola Benedetti, Dino Ienco외 4명|arXiv (Cornell University)|2018. 03. 05.

Methane Hydrates and Related Phenomena참고 문헌 9인용 수 11

한 줄 요약

이 논문은 레이위옹 섬 데이터에서 향상된 지형 지도 제작을 위해 다중시기적 센티넬-2 데이터(고시계 해상도)와 매우 높은 공간 해상도(VHSR) 위성 영상(예: SPOT6/7)을 융합하는 엔드 투 엔드 딥 러닝 아키텍처인 M³Fusion을 제안한다. VHSR 데이터에서 공간적 특징을 추출하기 위한 합성곱 신경망(CNN)과 시간 시리즈의 시간적 모델링을 위한 순환 신경망(RNN)을 결합함으로써, M³Fusion은 다섯 개의 데이터 분할에서 랜덤 포레스트보다 정확도 향상 2.28–4.04%와 F-measure 향상 2.65–4.53%를 달성하여 뛰어난 성능과 강건성을 입증한다.

ABSTRACT

Modern Earth Observation systems provide sensing data at different temporal and spatial resolutions. Among optical sensors, today the Sentinel-2 program supplies high-resolution temporal (every 5 days) and high spatial resolution (10m) images that can be useful to monitor land cover dynamics. On the other hand, Very High Spatial Resolution images (VHSR) are still an essential tool to figure out land cover mapping characterized by fine spatial patterns. Understand how to efficiently leverage these complementary sources of information together to deal with land cover mapping is still challenging. With the aim to tackle land cover mapping through the fusion of multi-temporal High Spatial Resolution and Very High Spatial Resolution satellite images, we propose an End-to-End Deep Learning framework, named M3Fusion, able to leverage simultaneously the temporal knowledge contained in time series data as well as the fine spatial information available in VHSR information. Experiments carried out on the Reunion Island study area asses the quality of our proposal considering both quantitative and qualitative aspects.

연구 동기 및 목표

• 특히 고시계 해상도(센티넬-2)와 매우 높은 공간 해상도(VHSR) 영상 간 상호보완적인 위성 데이터 소스를 통합하여 향상된 지형 지도 제작에 도전한다.
• 수작업 특징 추출에 의존하고 모odal 간 별도 처리를 하는 전통적 데이터 융합 방법의 한계를 극복한다.
• 이질적인 위성 데이터 소스에서 공간적 및 시간적 특징을 동시에 학습할 수 있는 엔드 투 엔드 딥 러닝 프레임워크를 개발한다.
• 특히 클래스 불균형 처리 및 VHSR 데이터의 구름/그림자 잡음 감소에 기여하여 지형 지도 제작의 정확도와 강건성을 향상시킨다.
• 레위옹 섬에서의 실제 사례 연구를 통해 제안된 아키텍처의 유효성을 입증한다. 레위옹 섬는 다양한 지형 지형 유형을 지닌 복잡한 열대 환경이다.

제안 방법

• M³Fusion은 이중 브랜치 딥 러닝 아키텍처를 활용한다: 3D-CNN 브랜치는 VHSR 영상에서 세밀한 공간적 특징을 추출하고, RNN(LSTM 기반) 브랜치는 다중시기적 센티넬-2 시간 시리즈의 시간적 동역학을 모델링한다.
• VHSR 입력은 다중 스펙트럼 밴드를 통해 공간 패턴을 학습하기 위해 3D-CNN를 거쳐 고해상도의 맥락 정보를 캐치한다.
• 센티넬-2 시간 시리즈(34장의 영상, 픽셀당 반사율 및 방사능 지수 포함 16개 변수)는 양방향 LSTM 네트워크에 입력되어 시간적 프로파일을 모델링하고 식생 주기 패턴을 탐지한다.
• 공간적 및 시간적 특징은 최종 레이어에서 연결되어 분류를 위한 통합 표현을 형성한다.
• 전체 네트워크는 교차 엔트로피 손실을 사용한 지도 학습을 통해 엔드 투 엔드로 훈련되며, 특징 추출 및 분류의 공동 최적화를 가능하게 한다.
• 특징 추출 이전에 선형 보간을 통한 시간 간격 보정을 적용하여 센티넬-2 시간 시리즈의 구름 영향을 받은 관측치를 처리한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 아키텍처는 다중시기적, 고공간 해상도(센티넬-2) 및 매우 높은 공간 해상도(VHSR) 위성 데이터를 융합하여 지형 지도 제작에 효과적으로 활용할 수 있는가?
• RQ2 이질적인 위성 자료에서 시간적 및 공간적 정보를 통합할 때, M³Fusion의 성능은 랜덤 포레스트와 같은 전통적 기계 학습 방법보다 어떻게 비교되는가?
• RQ3 기존 융합 전략 대비 M³Fusion은 VHSR 데이터의 구름 및 그림자 잡음과 같은 잡음과 기능을 얼마나 효과적으로 감소시키는가?
• RQ4 클래스 불균형 또는 다양한 데이터 분포가 존재하는 상황에서 M³Fusion은 다양한 무작위 데이터 분할에 대해 얼마나 강건한가?
• RQ5 단일 딥 러닝 프레임워크 내에서 공간적 및 시간적 모델링을 통합하는 것이 별도의 특징 추출 및 융합보다 더 나은 일반화 및 분류 정확도를 이끌어내는가?

주요 결과

• M³Fusion은 레위옹 섬 데이터셋의 다섯 개 독립적 데이터 분할에서 평균 정확도 향상 3.16%와 평균 F-measure 향상 3.50%를 달성하여 랜덤 포레스트를 초월한다.
• 가장 도전적인 분할(분할 3)에서 M³Fusion은 정확도 향상 4.04%와 F-measure 향상 4.53%를 기록하여 어려운 데이터 조건에서도 뛰어난 성능을 보였다.
• M³Fusion는 랜덤 포레스트보다 더 강건한 성능을 보였다: 최고와 최악의 분할 결과 간 정확도 차이는 2.0점 뿐이었고, 랜덤 포레스트는 3.0점 이상의 하락을 보였다.
• 모델은 더 깔끔하고 잡음이 적은 분류 지ap을 생성했다: 도시 지역에서는 건물가가 시장 농지로 잘못 분류되는 전이 영역이 줄었고, VHSR 데이터의 구름/그림자 잡음도 크게 감소했다.
• M³Fusion의 F-measure와 정확도 값은 일관되게 유사했으며, 모든 클래스에서 균형 잡힌 성능을 보였고, 반면 랜덤 포레스트는 평균 0.5점의 격차를 보이며 다수 클래스에 편향됨을 시사했다.
• 정성적 분석을 통해 M³Fusion는 랜덤 포레스트에 비해 공간 연속성을 더 잘 유지하고, 특히 도시 및 전이 지역에서 스펙클 유사 잡음을 줄이는 데 뛰어난 성능을 보였다.