[논문 리뷰] Deep Learning for Change Detection in Remote Sensing Images: Comprehensive Review and Meta-Analysis

Lazhar Khelifi, Max Mignotte|arXiv (Cornell University)|2020. 06. 10.

Remote-Sensing Image Classification인용 수 13

한 줄 요약

이 논문은 원격 감지 영상에서 변화 탐지에 대한 딥 러닝(DL) 방법에 대한 종합적 리뷰 및 메타분석을 제시하며, 기존 접근 방식을 완전히 지도 학습, 완전히 비지도 학습, 이전 학습 기반 방법으로 분류한다. 향후 연구 방향으로 딥 강화 학습과 약한 지도 학습이 유망하다고 밝히며, 지리공간 응용 분야에서 자동화된 변화 탐지 기술을 발전시키기 위한 기초 자료를 제공한다.

ABSTRACT

Deep learning (DL) algorithms are considered as a methodology of choice for remote-sensing image analysis over the past few years. Due to its effective applications, deep learning has also been introduced for automatic change detection and achieved great success. The present study attempts to provide a comprehensive review and a meta-analysis of the recent progress in this subfield. Specifically, we first introduce the fundamentals of deep learning methods which arefrequently adopted for change detection. Secondly, we present the details of the meta-analysis conducted to examine the status of change detection DL studies. Then, we focus on deep learning-based change detection methodologies for remote sensing images by giving a general overview of the existing methods. Specifically, these deep learning-based methods were classified into three groups; fully supervised learning-based methods, fully unsupervised learning-based methods and transfer learning-based techniques. As a result of these investigations, promising new directions were identified for future research. This study will contribute in several ways to our understanding of deep learning for change detection and will provide a basis for further research.

연구 동기 및 목표

• 원격 감지 영상에서 변화 탐지에 대한 최근 딥 러닝 기술의 발전을 체계적으로 리뷰하고 메타분석한다.
• 딥 러닝 기반 변화 탐지 방법을 세 가지 주요 범주로 분류하고 분석한다: 완전히 지도 학습, 완전히 비지도 학습, 이전 학습 기반 접근 방식.
• 현재 방법의 주요 과제를 특정화한다. 특히 수동 애너테이션 비용이 높고, 약한 지도 학습 환경에서 성능이 제한적인 점.
• 두 가지 유망한 향후 연구 방향을 제안한다: 딥 강화 학습과 약한 지도 학습 기반 변화 탐지.
• 최신 기술들을 통합하고 열려 있는 과제를 부각시켜 향후 연구에 체계적인 기반을 제공한다.

제안 방법

• 딥 러닝과 원격 감지 영상의 변화 탐지에 관한 동료 검토를 통한 논문들을 메타분석하여, 방법론적 분류와 성능 추세에 중점을 둔다.
• 딥 러닝 기반 변화 탐지 방법을 세 그룹으로 분류한다: 완전히 지도 학습, 완전히 비지도 학습, 이전 학습 기반 기법.
• 이중 시점 영상 쌍에서의 특징 학습을 위해 오토에코더, 시아모이 네트워크, 합성곱 신경망(CNNs)과 같은 핵심 딥 러닝 아키텍처를 검토한다.
• 시아모이 네트워크에서 대비 손실과 트리플렛 손실의 사용을 분석하여 변화 탐지에 적합한 특징을 학습하는 데 기여한다.
• 변화 탐지 과정을 순차적 결정 문제로 모델링하기 위해 강화 학습 및 딥 강화 학습(DRL)의 통합을 탐색한다.
• 완전히 애너테이션된 데이터셋에 대한 의존도를 줄이기 위해, 불완전한, 부정확한, 또는 잘못된 지도 학습을 포함한 약한 지도 학습(WSL) 전략을 평가한다.

실험 결과

연구 질문

• RQ1 최근 원격 감지 영상의 변화 탐지 방법에서 주로 사용되는 딥 러닝 아키텍처와 학습 범주화는 무엇인가?
• RQ2 완전히 지도 학습, 완전히 비지도 학습, 이전 학습 기반 방법 간의 성능 및 실제 원격 감지 데이터 적용 가능성은 어떻게 비교되는가?
• RQ3 현재 약한 지도 학습 접근 방식의 주요 한계는 무엇인가? 특히 국소화 정확도와 레이블 노이즈 측면에서.
• RQ4 딥 강화 학습은 변화 탐지 과정을 순차적 결정 문제로 모델링함으로써 어떻게 변화 탐지 성능을 향상시킬 수 있는가?
• RQ5 딥 러닝 기반 원격 감지 변화 탐지 기술을 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 딥 러닝 기반 변화 탐지 방법은 대규모 원격 감지 데이터로부터 계층적이고 복잡한 표현을 자동으로 학습함으로써, 기존 수작업 특징 방법보다 뛰어난 성능을 보인다.
• 완전히 지도 학습 기반 딥 러닝 접근 방식은 높은 정확도를 달성하지만, 대량의 완전한 애너테이션 데이터가 필요하여 확보하는 데 비용이 많이 들고 시간이 오래 걸린다.
• 완전히 비지도 학습 방법, 예를 들어 대비 손실를 적용한 오토에코더와 시아모이 네트워크는 지도가 없는 레이블로도 의미 있는 표현을 학습할 수 있어 강력한 잠재력을 보인다.
• 이전 학습 기반 방법은 사전 학습된 모델을 새로운 데이터셋이나 센서에 적응시키는 데 효과적이며, 자원이 제한된 상황에서 광범위한 레이블 데이터가 필요로 하는 것을 줄여준다.
• 약한 지도 학습은 여전히 이 분야에서 개발이 부족한 편이며, 현재 방법들은 특히 도시나 혼잡한 배경에서 변화의 국소화 정확도를 높이기 어려운 점이 있다.
• 딥 강화 학습은 변화 탐지 과정을 행동의 시퀀스로 모델링함으로써 새로운 프레임워크를 제공하지만, 원격 감지 분야에서는 아직 거의 탐색되지 않은 상태이다.