[논문 리뷰] Model Generalization in Deep Learning Applications for Land Cover Mapping

Lucas ZhongMing Hu, Caleb Robinson외 1명|arXiv (Cornell University)|2020. 08. 09.

Remote-Sensing Image Classification참고 문헌 7인용 수 4

한 줄 요약

이 논문은 SEN12MS 데이터셋을 사용하여 다양한 대륙과 계절 간 땅 덮개 지ap핑에서 딥 러닝 모델의 일반화 한계를 조사한다. 모델이 한 대륙이나 계절에서 훈련된 경우 다른 대륙이나 계절에서는 땅의 분포 변화로 인해 성능이 떨어지는 경향이 있음을 입증하고, 스펙트럼 대역별로 위성 영상을 군집화하여 지역별 시각적 패턴을 식별함으로써 일반화 부족을 설명하는 방법을 제안한다.

ABSTRACT

Recent work has shown that deep learning models can be used to classify land-use data from geospatial satellite imagery. We show that when these deep learning models are trained on data from specific continents/seasons, there is a high degree of variability in model performance on out-of-sample continents/seasons. This suggests that just because a model accurately predicts land-use classes in one continent or season does not mean that the model will accurately predict land-use classes in a different continent or season. We then use clustering techniques on satellite imagery from different continents to visualize the differences in landscapes that make geospatial generalization particularly difficult, and summarize our takeaways for future satellite imagery-related applications.

연구 동기 및 목표

• 한 대륙 또는 계절에서 훈련된 딥 러닝 모델이 다른 대륙 또는 계절의 땅 덮개 분류에 얼마나 잘 일반화되는지 평가하는 것.
• 지형 및 센서 변동성으로 인한 지형공간 딥 러닝에서의 일반화 부족 원인을 규명하는 것.
• 위성 영상에서 유도된 지형 군집 분포를 활용해 새로운 지역에서의 모델 성능을 예측하는 방법을 개발하는 것.
• 외부 분포에 대한 지형공간 응용 프로젝트에서 적절한 모델 또는 데이터 증강 전략을 선택하는 데 도움을 주는 지침을 제공하는 것.

제안 방법

• SEN12MS 데이터셋을 사용하여 FC-DenseNet 모델을 땅 덮개 분류에 대해 훈련하고, 대륙 및 계절 기반으로 훈련 및 평가를 분리한다.
• 평균 센티넬-1 및 센티넬-2 밴드 값 기반으로 영상 패치에 k-means 군집화를 적용하여 고유한 지형 유형을 식별한다.
• 각 대륙의 군집 빈도 히스토그램을 생성하여 대륙 간 지형 분포의 차이를 정량화한다.
• 정규화된 군집 히스토그램에 주성분 분석(PCA)을 적용하여 대륙 간 지형 프로파일 간 유사성 및 이질성을 시각화한다.
• 각 군집이 특정 대륙을 나타내는 정도를 평가하기 위해 조건부 확률 P(대륙|군집)을 계산한다.
• 모델의 일반화 성능을 대륙 및 계절 간으로 평가하여 성능 저하가 지형 분포 변화와 관련이 있는지 분석한다.

실험 결과

연구 질문

• RQ1 한 계절에서 훈련된 모델이 다른 계절로 일반화되는 정도는 어떠한가?
• RQ2 한 대륙에서 훈련된 모델이 다른 대륙으로 일반화되는 정도는 어떠한가?
• RQ3 모델 일반화가 열악한 경우를 예측할 수 있는 특징나 지표는 무엇인가?
• RQ4 다중 스펙트럼 영상에서 유도된 지형 군집화가 대륙 간 일반화 실패를 설명할 수 있는가?

주요 결과

• 대륙 간 및 계절 간 성능은 대륙 내 및 계절 내 성능보다 유의미하게 낮으며, 이는 지역 및 시간 간 일반화 부족을 시사한다.
• 유럽에서 훈련된 모델은 북미로의 일반화가 상당히 잘 되었고, 남미에서 훈련된 모델은 아프리카로의 일반화가 잘 되었으며, 이는 군집 히스토그램에서 관찰된 유사한 지형 분포와 관련이 있다.
• 오스트레일리아의 지형은 다른 모든 대륙과 뚜렷하게 다름을 보이며, 다른 대륙에서 훈련된 모델은 오스트레일리아 데이터에서 성능이 떨어져 고유한 지형 분포를 시사한다.
• 모든 대륙에서 강력한 국지화를 보이는 특정 지형 군집(예: 사막(군집 5, 10), 눈/티우나(군집 2, 9))이 존재하며, P(대륙|군집) 분석에서 뚜렷한 지역 특이성을 확인할 수 있다.
• 정규화된 군집 히스토그램의 PCA 시각화 결과, 아프리카와 남미, 유럽과 북미가 각각 지형 구성에서 유사하며, 아시아는 중간적 위치에 있음을 확인하였다.
• 단일 대륙 또는 계절에서 훈련된 모델은 땅의 분포 변동성을 고려하지 못해 새로운 지역에서 성능이 떨어지므로, 훈련 데이터의 다양성이 강건성에 매우 중요하다는 점을 시사한다.