[논문 리뷰] Paradigm selection for Data Fusion of SAR and Multispectral Sentinel data applied to Land-Cover Classification

Alessandro Sebastianelli, Maria Pia Del Rosso외 2명|arXiv (Cornell University)|2021. 06. 18.

Remote-Sensing Image Classification인용 수 6

한 줄 요약

이 논문은 심층 학습 기반의 데이터 융합 프레임워크 네 가지—초기, 공동, 그리고 두 가지 후기 융합 변형—을 사용하여 Sentinel-1 SAR와 Sentinel-2 다중스펙트럼 데이터를 융합하여 지형 분류를 평가한다. 고정된 CNN 아키텍처를 사용할 때 가중치가 부여된 후기 융합이 가장 높은 분류 정확도(평균 F1 점수 86%)를 달성함을 입증하며, AI4EO 응용 분야에서 최적의 융합 프레임워크 선택을 위한 체계적인 절차를 제공한다.

ABSTRACT

Data fusion is a well-known technique, becoming more and more popular in the Artificial Intelligence for Earth Observation (AI4EO) domain mainly due to its ability of reinforcing AI4EO applications by combining multiple data sources and thus bringing better results. On the other hand, like other methods for satellite data analysis, data fusion itself is also benefiting and evolving thanks to the integration of Artificial Intelligence (AI). In this letter, four data fusion paradigms, based on Convolutional Neural Networks (CNNs), are analyzed and implemented. The goals are to provide a systematic procedure for choosing the best data fusion framework, resulting in the best classification results, once the basic structure for the CNN has been defined, and to help interested researchers in their work when data fusion applied to remote sensing is involved. The procedure has been validated for land-cover classification but it can be transferred to other cases.

연구 동기 및 목표

• AI4EO 응용 분야, 특히 지형 분류를 위한 최적의 데이터 융합 프레임워크 선택을 위한 체계적인 절차 수립.
• 고정된 CNN 아키텍처를 사용할 때 다양한 데이터 융합 프레임워크가 분류 성능에 미치는 영향 평가.
• Sentinel-1 SAR와 Sentinel-2 다중스펙트럼 데이터를 융합하기 위한 가장 효과적인 전략—초기, 공동, 또는 후기 융합—식별.
• 지형 분류를 넘어서 세그멘테이션 또는 변화 탐지와 같은 다른 AI4EO 작업에 적용 가능한 이식 가능한 방법론 제공.
• 재현 가능성을 위해 자체 제작 데이터셋과 오픈소스 구현을 사용하여 프레임워크 검증.

제안 방법

• 동일한 CNN 아키텍처에 기반해 네 가지 데이터 융합 프레임워크를 구현: 초기 융합(원시 입력 병합), 공동 융합(공유된 특징 추출), 두 가지 후기 융합 변형(예측치의 합 및 가중치 부여된 평균).
• Google Earth Engine 를 통해 동일한 지리적 지역의 Sentinel-1 이중 펄스 SAR 및 Sentinel-2 Level-2A 다중스펙트럼 데이터 확보. 다섯 가지 지형 분류: 도시, 해안선, 호수, 강, 식생.
• 지표 레이블을 표현하기 위해 원-핫 인코딩 사용. 각 클래스는 해당 클래스 인덱스에만 1.0이 할당되고 나머지는 0.0이다.
• 모델 훈련은 지도 학습 방식을 사용하며, 모든 융합 프레임워크에서 동일한 CNN 백본을 사용하여 융합 전략의 영향을 고립시킴.
• 정확도, 정밀도, 재현율, F1 점수와 같은 표준 지표를 사용해 성능 평가. 각 클래스별로 계산하고 클래스 간 평균화.
• 가중치가 부여된 후기 융합 전략은 예측 점수에 클래스별 가중치를 적용한 후 집계하여 불균형 클래스에서의 성능 향상.

실험 결과

연구 질문

• RQ1 Sentinel-1 SAR와 Sentinel-2 다중스펙트럼 데이터를 융합하여 지형 분류를 수행할 때, 초기, 공동, 또는 후기 융합 중 어떤 프레임워크가 가장 높은 분류 정확도를 달성하는가?
• RQ2 클래스 불균형이 존재할 경우, 융합 전략의 선택이 다양한 지형 분류 클래스에서 정밀도, 재현율, F1 점수에 미치는 영향은 어떠한가?
• RQ3 가중치가 부여된 후기 융합 방식은 표준 후기 융합 또는 다른 프레임워크에 비해 소수 클래스에서 성능 향상을 이끌어내는가?
• RQ4 지형 분류를 넘어서 다른 AI4EO 응용 분야에도 적용 가능한 융합 프레임워크 선택을 위한 체계적인 절차를 수립할 수 있는가?
• RQ5 SAR만, 옵티컬만, 또는 융합된 데이터만 사용할 경우 성능 지표는 어떻게 변화하며, 이는 모델 설계에 어떤 통찰을 제공하는가?

주요 결과

• 가중치가 부여된 후기 융합이 평균 F1 점수 86%를 기록하여 다른 프레임워크, 특히 초기 융합(80%)과 표준 후기 융합(85%)을 크게 앞서며 가장 높은 성능 기록.
• 가중치가 부여된 후기 융합 프레임워크는 도시 클래스에서 100% 정확도, 호수 및 식생 클래스에서 각각 98% 정확도를 기록하여 주로 지배적인 클래스에서 강력한 일반화 성능 확보.
• Sentinel-2만 사용 시 평균 정확도 78% 및 F1 점수 79%를 기록하며 융합 없이도 중간 수준의 성능 확보.
• Sentinel-1만 사용 시 정확도 79% 및 F1 점수 79%를 기록하여 융합 없이도 중간 수준의 성능 확보.
• 공동 융합은 평균 F1 점수 86% 및 정확도 86%를 기록하며 두 번째로 높은 순위를 차지하지만, 해안선 클래스에서 정밀도가 0.84로 가중치가 부여된 후기 융합(0.87)보다 낮음.
• 초기 융합은 식생에서 정확도 100%를 기록하지만 강(66% 정확도)과 해안선(78% 정확도)에서 성능이 열등하여 입력 차원의 민감성에 영향을 받는 것으로 나타남.
• 혼동 행렬 및 지표 시각화 결과, 가중치가 부여된 후기 융합이 특히 강과 호수 클래스에서의 잘못 분류를 줄이며, 다른 프레임워크에서 흔히 발생하는 오류를 감소시킴.