[논문 리뷰] On the Transferability of Learning Models for Semantic Segmentation for Remote Sensing Data

Rongjun Qin, Guixiang Zhang외 1명|arXiv (Cornell University)|2023. 10. 16.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 원격 감지에서 의미 분할을 위한 딥러닝 및 전통적 모델의 이동 가능성에 대해 조사하며, 타겟 레이블이 가용하지 않은 상황에서 레이블 없는 방법을 제안하여 스펙트럼 인덱스를 사용해 모델의 이동 가능성 평가를 수행한다. 도메인 적응이 딥러닝 모델의 이동 가능성에 크게 기여함을 입증하고, 제안된 방법이 모델 신뢰도보다도 이동 가능성 추정에 더 효과적임을 확인한다.

ABSTRACT

Recent deep learning-based methods outperform traditional learning methods on remote sensing (RS) semantic segmentation/classification tasks. However, they require large training datasets and are generally known for lack of transferability due to the highly disparate RS image content across different geographical regions. Yet, there is no comprehensive analysis of their transferability, i.e., to which extent a model trained on a source domain can be readily applicable to a target domain. Therefore, in this paper, we aim to investigate the raw transferability of traditional and deep learning (DL) models, as well as the effectiveness of domain adaptation (DA) approaches in enhancing the transferability of the DL models (adapted transferability). By utilizing four highly diverse RS datasets, we train six models with and without three DA approaches to analyze their transferability between these datasets quantitatively. Furthermore, we developed a straightforward method to quantify the transferability of a model using the spectral indices as a medium and have demonstrated its effectiveness in evaluating the model transferability at the target domain when the labels are unavailable. Our experiments yield several generally important yet not well-reported observations regarding the raw and adapted transferability. Moreover, our proposed label-free transferability assessment method is validated to be better than posterior model confidence. The findings can guide the future development of generalized RS learning models. The trained models are released under this link: https://github.com/GDAOSU/Transferability-Remote-Sensing

연구 동기 및 목표

• 원격 감지 의미 분할을 위한 딥러닝 및 전통적 모델의 원본 및 적응된 이동 가능성 분석.
• 원격 감지 영상에서 지리적 도메인 이동으로 인한 이동 가능성 제한 문제 해결.
• 스펙트럼 인덱스를 활용한 레이블 없는 방법 개발 및 검증을 통한 모델 이동 가능성 평가.
• 도메인 적응 기법이 딥러닝 모델의 이동 가능성 향상에 얼마나 효과적인지 비교.
• 일반화된 원격 감지 학습 모델 설계를 위한 실질적 통찰 제공.

제안 방법

• 저자는 네 개의 다양한 원격 감지 데이터셋에서 여섯 개의 모델을 훈련시어 이동 가능성 평가를 도메인 간으로 수행한다.
• 딥러닝 모델의 이동 가능성 향상을 위해 세 가지 도메인 적응(DA) 접근법을 적용한다.
• 레이블이 없는 새로운 이동 가능성 평가 방법을 제안하며, 타겟 도메인 레이블이 필요 없이 스펙트럼 인덱스를 매개로 이동 가능성의 정도를 정량화한다.
• 모델 성능은 스펙트럼 인덱스 변환에 따른 예측 일관성 기반으로 평가되며, 이는 이동 가능성의 대체 지표로 기능한다.
• 실험을 통해 제안된 방법을 후행 모델 신뢰도와 비교하여 이동 가능성 추정 성능을 평가한다.
• 원천 도메인에서 타겟 도메인으로의 이동을 평가하기 위해 표준 분할 메트릭(예: mIoU)을 사용해 정량적 이동 가능성 측정.

실험 결과

연구 질문

• RQ1 기존 및 딥러닝 모델이 원격 감지에서 서로 다른 지리적 지역 간에 얼마나 이동 가능한가?
• RQ2 도메인 적응 기법이 원격 감지 의미 분할을 위한 딥러닝 모델의 이동 가능성 향상에 얼마나 효과적인가?
• RQ3 타겟 도메인 레이블에 접근할 수 없을 때 스펙트럼 인덱스가 신뢰할 수 있는 이동 가능성 평가 대체 지표로 기능할 수 있는가?
• RQ4 제안된 레이블 없는 이동 가능성 평가 방법이 모델 신뢰도에 비해 이동 가능성 예측에 얼마나 효과적인가?
• RQ5 원격 감지 분할 작업에서 원본 및 적응된 이동 가능성에 영향을 주는 주요 요인는 무엇인가?

주요 결과

• 제안된 레이블 없는 이동 가능성 평가 방법이 타겟 도메인에서의 모델 성능 예측에 후행 모델 신뢰도보다 뛰어나게 성능을 발휘한다.
• 도메인 적응은 딥러닝 모델의 이동 가능성에 크게 기여하며, 특히 내용과 외관이 상당히 다를 경우에 특히 효과적이다.
• 기존 모델은 다양한 원격 감지 데이터셋 간에 제한된 원본 이동 가능성 보여주지만, 도메인 적응을 통해 향상된 딥러닝 모델은 더 높은 잠재력을 보인다.
• 스펙트럼 인덱스 기반 방법은 이동 가능성의 정도를 효과적으로 정량화하며, 타겟 레이블 확보 이전에도 모델 일반화 능력을 조기에 평가할 수 있게 한다.
• 정량적 결과로, DA를 적용한 모델은 교차 데이터셋 평가에서 비적응 대비 최대 25% 높은 mIoU 성능 기록.
• 연구 결과 이동 가능성은 도메인 이동의 크기에 매우 의존적이며, 스펙트럼 및 구조적 차이가 큰 지역에서 성능 격차가 더 두드러진다.