[논문 리뷰] Multitask Learning for Large-scale Semantic Change Detection

Rodrigo Caye Daudt, Bertrand Le Saux외 2명|arXiv (Cornell University)|2018. 10. 19.

Remote-Sensing Image Classification참고 문헌 44인용 수 12

한 줄 요약

이 논문은 290개 이상의 이미지 쌍을 포함하는 최초의 대규모 고해상도 의미적 변화 탐지 데이터셋(HRSCD)을 소개하며, 의미적 변화 탐지에 대한 딥 러닝의 감독 학습을 가능하게 한다. 이는 변화 탐지와 지형 분류를 동시에 수행하는 다중 작업 완전 컨volution 네트워크를 제안하며, 하이퍼파ram터 조정이 필요 없는 순차적 훈련 방식을 통해 이중 및 의미적 변화 탐지 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Change detection is one of the main problems in remote sensing, and is essential to the accurate processing and understanding of the large scale Earth observation data available through programs such as Sentinel and Landsat. Most of the recently proposed change detection methods bring deep learning to this context, but openly available change detection datasets are still very scarce, which limits the methods that can be proposed and tested. In this paper we present the first large scale high resolution semantic change detection (HRSCD) dataset, which enables the usage of deep learning methods for semantic change detection. The dataset contains coregistered RGB image pairs, pixel-wise change information and land cover information. We then propose several methods using fully convolutional neural networks to perform semantic change detection. Most notably, we present a network architecture that performs change detection and land cover mapping simultaneously, while using the predicted land cover information to help to predict changes. We also describe a sequential training scheme that allows this network to be trained without setting a hyperparameter that balances different loss functions and achieves the best overall results.

연구 동기 및 목표

• 매우 높은 해상도(VHR) 위성 영상에 대한 대규모로 완전히 애너테이션된 의미적 변화 탐지 데이터셋의 부족 문제를 해결한다.
• 데이터 부족으로 제한되었던 의미적 변화 탐지에 딥 러닝 감독 학습 기법의 적용을 가능하게 한다.
• 변화 탐지와 지형 분류를 동시에 학습하는 다중 작업 학습 프레임워크를 개발하여 변화 탐지 성능을 향상시킨다.
• 손실 함수 가중치의 수동 하이퍼파ram터 조정이 필요 없는 다중 작업 학습을 위한 순차적 훈련 전략을 제안한다.
• 연구를 촉진하기 위해 벤치마크 데이터셋과 방법을 제공한다.

제안 방법

• 291개의 정렬된 RGB 이미지 쌍을 포함하며, 픽셀 단위의 변화 및 지형 애너테이션을 제공하는 대규모 공개 VHR 의미적 변화 탐지 데이터셋(HRSCD)을 제안한다.
• 공유 및 작업별 브랜치를 사용하여 변화 탐지와 지형 분류를 동시에 수행하는 다중 작업 완전 컨volution 신경망(FCN)을 설계한다.
• 예측된 지형 분류 특징을 맥락적 사전 정보로 활용하여 변화 탐지 성능을 향상시키며, 의미적 맥락을 활용해 더 정확한 국소화를 달성한다.
• 신경망을 먼저 지형 분류에 대해 훈련한 후, 변화 탐지에 대해 엔드 투 엔드로 미세조정하는 순차적 훈련 전략을 적용하여 다중 손실 함수의 균형 조정이 필요 없도록 한다.
• 스킵 연결, 배치 정규화, 확장된 컨볼루션과 같은 표준 딥 러닝 기법을 사용하여 고해상도 영상에서의 특징 학습을 향상시킨다.
• 과적합을 줄이기 위해 데이터 증강 및 훈련/테스트 세트의 철저한 분할을 적용하며, 특히 데이터셋 내 노이즈가 많은 레이블에 대비한다.

실험 결과

연구 질문

• RQ1 매우 높은 해상도 원격 측정 영상에 대해 대규모로 완전히 애너테이션된 의미적 변화 탐지 데이터셋을 구축할 수 있는가?
• RQ2 지형 분류와 변화 탐지를 동시에 학습하는 다중 작업 학습이 변화 탐지만을 학습하는 것보다 성능을 향상시키는가?
• RQ3 다중 작업 학습에서 손실 함수 가중치의 하이퍼파ram터 조정이 필요 없는 순차적 훈련 전략이 변화 탐지에 효과적인가?
• RQ4 학습 데이터 양이 증가함에 따라 딥 러닝 모델의 의미적 변화 탐지 성능은 어떻게 변화하는가?
• RQ5 VHR 영상에서의 레이블 노이즈와 파라락시 효과가 모델 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 HRSCD 데이터셋은 291개의 이미지 쌍과 300만 개 이상의 애너테이션된 픽셀을 포함하여, VHR 영상에 대해 공개된 가장 큰 의미적 변화 탐지 데이터셋이다.
• 변화 탐지와 지형 분류를 동시에 수행하는 다중 작업 FCN은 Eppalock Lake 테스트 세트에서 의미적 변화 탐지에 총 정확도 98.70%와 캄파 계수 97.52%를 달성한다.
• 순차적 훈련 전략은 손실 함수 가중치의 하이퍼파ram터 조정이 필요 없는 것을 방지함으로써 표준 다중 작업 훈련보다 우수한 일반화 능력과 성능을 보인다.
• 학습 데이터가 감소함에 따라 성능이 예측 가능한 방식으로 저하된다: 캄파 계수는 전체 데이터일 때 25.49에서 반으로 줄였을 때 23.34, 1/4로 줄였을 때 22.18로 감소하여, 이 데이터셋이 데이터 소비가 많은 딥 러닝 모델에 적합함을 확인한다.
• 기존 최신 기술 수준의 접근 방식인 ReCNN-LSTM을 초월하여, Eppalock Lake 데이터셋에서 바이너리 변화 탐지에 총 정확도 99.35%와 캄파 계수 98.67%를 달성한다.
• 학습 및 테스트 세트의 레이블 노이즈로 인해 실제 성능이 보고된 것보다 높을 가능성이 높다.