[논문 리뷰] A Review of Landcover Classification with Very-High Resolution Remotely Sensed Optical Images-Analysis Unit,Model Scalability and Transferability

Rongjun Qin, Tao Liu|arXiv (Cornell University)|2022. 02. 07.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 매우 고해상도(VHR) 옵티컬 위성 영상에 기반한 딥러닝 기반 토지피복 분류에 대한 체계적 리뷰를 제시하며, 분석 단위, 모델 확장성 및 이식 가능성에 초점을 맞춘다. 데이터 부족, 클래스 불균형, 도메인 이동, 다중 소스 융합과 같은 핵심 과제를 다루며, 원격 감지 영상 분석 분야의 향후 연구를 위한 체계적인 통찰과 제안을 제공한다.

ABSTRACT

As an important application in remote sensing, landcover classification remains one of the most challenging tasks in very-high-resolution (VHR) image analysis. As the rapidly increasing number of Deep Learning (DL) based landcover methods and training strategies are claimed to be the state-of-the-art, the already fragmented technical landscape of landcover mapping methods has been further complicated. Although there exists a plethora of literature review work attempting to guide researchers in making an informed choice of landcover mapping methods, the articles either focus on the review of applications in a specific area or revolve around general deep learning models, which lack a systematic view of the ever advancing landcover mapping methods. In addition, issues related to training samples and model transferability have become more critical than ever in an era dominated by data-driven approaches, but these issues were addressed to a lesser extent in previous review articles regarding remote sensing classification. Therefore, in this paper, we present a systematic overview of existing methods by starting from learning methods and varying basic analysis units for landcover mapping tasks, to challenges and solutions on three aspects of scalability and transferability with a remote sensing classification focus including (1) sparsity and imbalance of data; (2) domain gaps across different geographical regions; and (3) multi-source and multi-view fusion. We discuss in detail each of these categorical methods and draw concluding remarks in these developments and recommend potential directions for the continued endeavor.

연구 동기 및 목표

• 딥러닝의 급속한 발전으로 인해 VHR 토지피복 분류 방법의 복잡성과 분열성이 증가하고 있음을 다루기 위해.
• VHR 옵티컬 영상로 토지피복 지ap핑에서 학습 방법과 분석 단위에 대한 체계적인 개요를 제공하기 위해.
• 데이터 부족, 클래스 불균형, 지리적 영역 간 도메인 이동을 포함한 확장성 및 이식 가능성 과제를 조사하기 위해.
• 모델 일반화 및 성능 향상을 위해 다중 소스 및 다중 시야 융합 기법을 검토하기 위해.
• 데이터 기반 원격 감지 분류 분야의 향후 연구를 위한 실천 가능한 제안을 제공하기 위해.

제안 방법

• 논문은 분석 단위(예: 픽셀, 패치, 오브젝트 기반 영상 분석 등)에 따라 분류되는 딥러닝 기반 토지피복 분류 방법에 대한 종합적 리뷰를 수행한다.
• VHR 영상 분류에서 사용된 다양한 딥러닝 아키텍처와 학습 전략을 평가하며, 성능 및 한계에 중점을 둔다.
• 희소하고 불균형한 훈련 데이터와 관련된 확장성 문제를 분석하고, 데이터 증강 및 손실 재가중 기법을 제안한다.
• 지역 간 도메인 갭 과제는 도메인 적응 및 자기지도 학습 방법을 통해 해결한다.
• 다중 소스 및 다중 시야 융합 기법은 광학, SAR 및 맥락적 데이터를 융합하여 모델의 강건성을 향상시키는 방식으로 검토된다.
• 최근 문헌의 통찰을 통합하여 다양한 지역과 센서 간 모델의 이식 가능성과 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 분석 단위(예: 픽셀, 패치, 오브젝트)는 VHR 토지피복 분류에서 딥러닝 모델의 성능과 확장성에 어떻게 영향을 미치는가?
• RQ2 VHR 원격 감지 영상 분류에서 데이터 부족과 클래스 불균형을 다루는 데 가장 효과적인 기법은 무엇인가?
• RQ3 다양한 지리적 지역 간 도메인 갭을 어떻게 완화하여 모델의 이식 가능성을 향상시킬 수 있는가?
• RQ4 다중 소스 및 다중 시야 데이터 융합을 통한 향상된 토지피복 분류를 위한 주요 과제와 해결책은 무엇인가?
• RQ5 데이터 기반 원격 감지 응용 분야에서 모델의 확장성과 이식 가능성을 향상시키는 데 가장 유망한 방향은 무엇인가?

주요 결과

• 리뷰 결과, 오브젝트 기반 및 패치 기반 분석 단위가 맥락 이해도가 높아 VHR 영상에서 픽셀 수준 분류보다 일반적으로 성능이 뛰어나다는 것이 확인되었다.
• 데이터 증강 및 클래스 재가중 기법은 희소하고 불균형한 데이터 조건에서 모델 성능을 크게 향상시킨다.
• 자기지도 학습 및 적대적 훈련을 포함한 도메인 적응 방법은 지역 간 도메인 갭을 줄이는 데 강력한 잠재력을 보였다.
• 특히 광학 및 SAR 데이터를 융합한 다중 소스 융합은 복잡한 환경에서 분류 정확도와 강건성을 향상시킨다.
• 대규모이고 다양한 데이터셋으로 사전 훈련하고, 제한된 타겟 도메인 데이터로 미세 조정할 경우 이식 가능성이 향상된다.
• 진전이 있었음에도 불구하고, 특히 자원이 부족하고 데이터가 부족한 지역에서 일반화 및 확장성 문제는 여전히 남아 있다.