[논문 리뷰] Multimodal Remote Sensing Benchmark Datasets for Land Cover Classification with A Shared and Specific Feature Learning Model

Danfeng Hong, Jingliang Hu외 3명|arXiv (Cornell University)|2021. 05. 21.

Remote-Sensing Image Classification참고 문헌 55인용 수 4

한 줄 요약

이 논문은 다중모달 원격 감시 데이터를 위한 공유 및 특정 특징 학습(S2FL) 모델을 제안하며, 입력을 모ality 공유 특징과 모ality 고유 특징으로 분해하여 지형 분류 성능을 향상시킨다. 세 가지 새로운 벤치마크 데이터셋—Houston2013 (HS-MS), 베를린 (HS-SAR), 아우스부르크 (HS-SAR-DSM)—에서 평가된 S2FL은 다중모달 데이터셋에서 전체 정확도 83.36%를 기록하며 기존 방법들을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

As remote sensing (RS) data obtained from different sensors become available largely and openly, multimodal data processing and analysis techniques have been garnering increasing interest in the RS and geoscience community. However, due to the gap between different modalities in terms of imaging sensors, resolutions, and contents, embedding their complementary information into a consistent, compact, accurate, and discriminative representation, to a great extent, remains challenging. To this end, we propose a shared and specific feature learning (S2FL) model. S2FL is capable of decomposing multimodal RS data into modality-shared and modality-specific components, enabling the information blending of multi-modalities more effectively, particularly for heterogeneous data sources. Moreover, to better assess multimodal baselines and the newly-proposed S2FL model, three multimodal RS benchmark datasets, i.e., Houston2013 -- hyperspectral and multispectral data, Berlin -- hyperspectral and synthetic aperture radar (SAR) data, Augsburg -- hyperspectral, SAR, and digital surface model (DSM) data, are released and used for land cover classification. Extensive experiments conducted on the three datasets demonstrate the superiority and advancement of our S2FL model in the task of land cover classification in comparison with previously-proposed state-of-the-art baselines. Furthermore, the baseline codes and datasets used in this paper will be made available freely at https://github.com/danfenghong/ISPRS_S2FL.

연구 동기 및 목표

• 다양한 해상도, 센서, 촬영 특성을 지닌 이질적인 다중모달 원격 감시 데이터를 융합하여 지형 분류 성능을 향상시키는 도전 과제를 해결하기 위해.
• 기존 특징 학습 방법이 효과적인 융합이나 모달리티 고유의 표현 없이 특징를 연결하기만 하는 한계를 극복하기 위해.
• 연구를 가속화하기 위해 표준화되고 공개 가능한 벤치마크 데이터셋을 제공하기 위해.
• 다양한 모달리티 조합(예: 이중 또는 삼중 모달리티)에서도 높은 성능와 강건성을 유지하면서 일반화할 수 있는 새로운 특징 학습 모델을 개발하기 위해.

제안 방법

• 모든 모달리티에 공통되는 특징과 각 모달리티 고유의 특징으로 다중모달 원격 감시 데이터를 분해하는 공유 및 특정 특징 학습(S2FL) 모델을 제안한다.
• 모달리티 간 정렬을 가능하게 하면서도 모달리티 고유의 정보를 유지하기 위해 공유 및 특정 특징을 동시에 학습하는 공동 최적화 프레임워크를 사용한다.
• 다중모달 특징 학습에서 특징 선택을 향상시키고 강건성을 높이기 위해 희박성 유도 ℓ₁-노름 정규화를 적용한다.
• 이종 데이터(예: 고분해상도 스펙트럼, 다중분광, SAR, DSM 등)의 효과적인 융합을 가능하게 하기 위해 공유 및 특정 구성 요소를 포함한 공동 공간 학습 전략을 활용한다.
• 융합된 특징에 분류기(판별적 분류기)를 통합하여 지형 분류를 수행한다.
• 표준화된 전처리 및 평가 프로토콜을 갖춘 세 가지 새로운 벤치마크 데이터셋—Houston2013 (HS-MS), 베를린 (HS-SAR), 아우스부르크 (HS-SAR-DSM)—을 공개한다.

실험 결과

연구 질문

• RQ1 다양한 해상도, 센서, 촬영 원리 등을 지닌 이질적인 특징을 지닌 다중모달 원격 감시 데이터를 어떻게 효과적으로 융합하여 지형 분류 성능을 향상시킬 수 있는가?
• RQ2 기존의 연결 기반 방법과 비교해 모달리티 간 공유 및 특정 특징을 분리함으로써 특징 표현과 분류 정확도가 얼마나 향상되는가?
• RQ3 일관된 특징 학습 모델이 이중 또는 삼중 모달리티 조합 등 다양한 모달리티 조합에 대해 일반화할 수 있는가?
• RQ4 희박성 유도 정규화와 공유-특정 분해가 모델의 훈련 데이터 크기 민감도와 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• S2FL 모델은 아우스부르크(HS-SAR-DSM) 데이터셋에서 전체 정확도 83.36%를 기록하며, 다음으로 우수한 성능을 보인 ℓ₁-CoSpace 모델(81.49%)을 크게 능가한다.
• HS-SAR-DSM 데이터셋에서 S2FL은 평균 정확도 61.38%와 캄파 계수 0.7626을 기록하여 ℓ₂-CoSpace 및 ℓ₁-CoSpace 모두를 뛰어넘는 우수한 성능을 보였다.
• 제거 실험 결과, S2FL은 이중 및 삼중 모달리티 설정을 포함한 모든 모달리티 조합에서 ℓ₂-CoSpace 및 ℓ₁-CoSpace를 일관되게 능가하는 것으로 확인되었다.
• 특징 학습에 ℓ₁-노름 정규화를 적용한 결과 ℓ₂-노름 대비 눈에 띄는 개선이 관찰되어, 희박성이 더 나은 융합과 표현을 가능하게 한다는 것을 시사한다.
• 특히 낮은 데이터 환경과 증가하는 모달리티 이질성 상황에서 딥러닝 기반 모델 대비 강건성과 해석 가능성에서 향상된 성능을 보였다.
• Houston2013, 베를린, 아우스부르크의 표준화된 세 개의 벤치마크 데이터셋 공개로 향후 다중모달 원격 감시 기법의 재현 가능하고 비교 가능한 평가 기반을 마련하였다.