[논문 리뷰] Recent Advances in Domain Adaptation for the Classification of Remote Sensing Data

Devis Tuia, Claudio Persello외 1명|arXiv (Cornell University)|2021. 04. 15.

Remote-Sensing Image Classification참고 문헌 78인용 수 13

한 줄 요약

이 논문은 센서, 시간적 요인 또는 대기 조건의 차이로 인해 훈련 데이터와 타겟 데이터의 분포가 다를 때 원격 감지 영상 분류를 위한 최근 도메인 적응(DA) 기법을 검토한다. 도메인 적응 기법을 특징 불변성, 표현 매칭, 분류기 적응, 선택적 샘플링으로 분류하는 체계를 제안하고, 데이터 특성과 레이블링 가능 여부에 기반한 방법 선택 가이드라인을 제공함으로써 실제 원격 감지 응용 분야에서 강력한 전이 학습을 가능하게 한다.

ABSTRACT

The success of supervised classification of remotely sensed images acquired over large geographical areas or at short time intervals strongly depends on the representativity of the samples used to train the classification algorithm and to define the model. When training samples are collected from an image (or a spatial region) different from the one used for mapping, spectral shifts between the two distributions are likely to make the model fail. Such shifts are generally due to differences in acquisition and atmospheric conditions or to changes in the nature of the object observed. In order to design classification methods that are robust to data-set shifts, recent remote sensing literature has considered solutions based on domain adaptation (DA) approaches. Inspired by machine learning literature, several DA methods have been proposed to solve specific problems in remote sensing data classification. This paper provides a critical review of the recent advances in DA for remote sensing and presents an overview of methods divided into four categories: i) invariant feature selection; ii) representation matching; iii) adaptation of classifiers and iv) selective sampling. We provide an overview of recent methodologies, as well as examples of application of the considered techniques to real remote sensing images characterized by very high spatial and spectral resolution. Finally, we propose guidelines to the selection of the method to use in real application scenarios.

연구 동기 및 목표

• 다른 센서, 시간대 또는 대기 조건으로 인해 스펙트럼 및 공간 분포 이동이 발생하는 원격 감지 영상 분류 과제에 도메인 적응 기법을 적용하여 도메인 간 분포 이동에 대응한다.
• 모든 새로운 영상 수집에 대해 광범위하고 비용이 많이 드는 지표 레이블링이 필요로 하는 문제를 해결하기 위해, 다른 도메인에서 확보한 기존의 레이블 데이터를 재사용함으로써 도메인 적응을 통한 성능 향상을 이룬다.
• 실제 원격 감지 응용 분야에서 타겟 도메인의 레이블 데이터가 부족하거나 존재하지 않는 상황에서 도메인 적응 전략을 체계적으로 검토하고 실용적인 가이드라인을 제공한다.
• 다양한 원격 감지 환경, 즉 다중 센서, 다중 시기, 고해상도 영상에 걸쳐 강력하고 전이 가능한 분류 모델을 구현한다.
• 반복적인 현장 캠프에 의존하는 것 없이 동적인 지구 관측 과정을 신속하고 정확하게 모니터링할 수 있도록 지원한다.

제안 방법

• 도메인 적응 기법을 네 가지 유형으로 분류: 특징 불변성 선택, 표현 매칭, 분류기 적응, 선택적 샘플링(활성 학습).
• 원격 감지 타겟 도메인의 레이블이 없더라도 적응 가능성 평가가 가능한 원형 교차 검증 기반 검증 전략을 제안함. 이 경우 소스 도메인을 타겟 도메인으로, 반대로 타겟 도메인을 소스 도메인으로 간주한다.
• 전역 데이터 정렬을 위한 선형 및 비선형 방법(예: PCA)과 국소적, 개별 샘플 변환을 위한 클러스터링 기반 접근법(예: GM, MA)을 사용한다.
• 핵심 기반 방법인 커널 기반 코사인 상관 분석(KCCA)과 최대 평균 차이(MMD)를 활용해 도메인 간 데이터 표현을 정렬한다.
• 레이블링이 제한적이지만 가능할 경우, 활성 학습 기반 선택적 샘플링을 통해 정보성 높은 타겟 샘플을 반복적으로 수집한다.
• 다양한 기법을 융합함으로써 복잡한 분포 이동에 대한 강건성을 향상시킴. 예를 들어, 표현 매칭 전처리로 특징 불변성 선택을 적용한다.

실험 결과

연구 질문

• RQ1 데이터 분포 이동 상황에서 원격 감지 영상 분류에 도메인 적응 기법을 효과적으로 분류하고 적용하는 방법은 무엇인가?
• RQ2 전역(예: PCA)과 국소(예: 클러스터링 기반) 도메인 적응 기법 간 성능 및 유연성의 주요 차이는 무엇인가?
• RQ3 타겟 도메인에 레이블 데이터가 전혀 없을 경우 도메인 적응을 어떻게 검증할 수 있는가?
• RQ4 다양한 원격 감지 환경에서 가장 강력한 성능을 내는 도메인 적응 전략의 조합은 무엇인가?
• RQ5 데이터 가용성, 센서 유형, 분포 이동 특성에 기반해 가장 적절한 도메인 적응 방법을 선택하기 위한 실용적 가이드라인은 무엇인가?

주요 결과

• 소스 도메인에서 레이블이 풍부한 상황에서 타겟 도메인에 레이블이 적거나 전혀 없을 경우, 도메인 적응 기법을 적용하면 분류 정확도가 크게 향상된다.
• KCCA 및 MMD와 같은 표현 매칭 기법은 중간 정도에서 복잡한 분포 이동이 발생하는 도메인 간 데이터 분포 정렬에 효과적이다.
• 특징 불변성 선택 기법은 소스 도메인과 타겟 도메인이 공통된 기저 특징을 공유할 경우 가장 효과적이며, 스펙트럼 및 공간 변동에 대한 민감도를 감소시킨다.
• 레이블링이 가능하지만 비용이 많이 드는 상황에서 활성 학습 기반 선택적 샘플링은 순수 비지도 학습 기법보다 극단적인 클래스 분포 이동을 탐지하는 데에서 뛰어난 성능을 보인다.
• 원형 검증 전략은 타겟 도메인 레이블이 필요 없이도 적응 성공 여부를 신뢰성 있게 평가할 수 있게 하여 실제 운영 환경에서의 적용 가능성을 높인다.
• 특징 선택과 표현 매칭 등의 다양한 DA 기법을 조합하면, 복잡한 분포 이동 상황에서 단일 기법을 사용하는 것보다 더 뛰어난 성능을 달성한다.