[논문 리뷰] Geographical Knowledge-driven Representation Learning for Remote Sensing Images

Wenyuan Li, Keyan Chen외 2명|arXiv (Cornell University)|2021. 07. 12.

Remote-Sensing Image Classification참고 문헌 73인용 수 73

한 줄 요약

이 논문은 지형 지식을 기반으로 한 표현 학습 방법인 GeoKR를 제안한다. 이 방법은 GlobeLand30 지형 커버 데이터와 지리적 위치를 약한 감독으로 활용하여 원격 탐사 영상의 딥 네트워크를 사전 학습한다. 분辨율 및 촬영 시기의 불일치로 인한 노이즈를 줄이기 위해 메인 티처 프레임워크를 사용함으로써, GeoKR는 시나리오 분류, 의미적 세그멘테이션, 구름/积 snow 탐지 등의 후행 작업에서 최신 기술 수준의 성능을 달성하며, 레이블링 필요성을 크게 감소시킨다. 이는 ImageNet 사전 학습 및 자기지도 학습 방법보다 최대 50% 적은 레이블 데이터로도 슈퍼리어한 성능을 내며, 레이블링 요구량을 절반 이하로 줄인다.

ABSTRACT

The proliferation of remote sensing satellites has resulted in a massive amount of remote sensing images. However, due to human and material resource constraints, the vast majority of remote sensing images remain unlabeled. As a result, it cannot be applied to currently available deep learning methods. To fully utilize the remaining unlabeled images, we propose a Geographical Knowledge-driven Representation learning method for remote sensing images (GeoKR), improving network performance and reduce the demand for annotated data. The global land cover products and geographical location associated with each remote sensing image are regarded as geographical knowledge to provide supervision for representation learning and network pre-training. An efficient pre-training framework is proposed to eliminate the supervision noises caused by imaging times and resolutions difference between remote sensing images and geographical knowledge. A large scale pre-training dataset Levir-KR is proposed to support network pre-training. It contains 1,431,950 remote sensing images from Gaofen series satellites with various resolutions. Experimental results demonstrate that our proposed method outperforms ImageNet pre-training and self-supervised representation learning methods and significantly reduces the burden of data annotation on downstream tasks such as scene classification, semantic segmentation, object detection, and cloud / snow detection. It demonstrates that our proposed method can be used as a novel paradigm for pre-training neural networks. Codes will be available on https://github.com/flyakon/Geographical-Knowledge-driven-Representaion-Learning.

연구 동기 및 목표

• 수백만 개의 레이블이 없는 영상 자료를 활용하여 원격 탐사 데이터의 레이블 부족 문제를 해결한다.
• 시나리오 분류, 의미적 세그멘테이션, 객체 탐지, 구름/积 snow 탐지와 같은 후행 작업에서 딥 러닝 성능을 향상시킨다.
• 지리 지식을 약한 감독으로 활용하여 사전 학습 과정에서 레이블링 부담을 줄인다.
• 원격 탐사 영상과 지리 지식 간의 분辨율 및 촬영 시간 불일치로 인한 노이즈를 완화하는 강력한 사전 학습 프레임워크를 개발한다.

제안 방법

• 지형 지식으로서 GlobeLand30 세계 지형 커버 제품과 지리 좌표를 활용하여 감독 신호를 생성한다.
• 지형 유형을 임베딩 벡터로 매핑하여 지식 표현을 구성함으로써 감독을 수행한다.
• 학생 및 교사 네트워크로 구성된 이중 네트워크 아키텍처를 도입하고, 가중치 평균화를 통해 학습 안정성과 이미지-지식 불일치로 인한 노이즈 감소를 달성한다.
• 사전 학습 기간 동안 이미지 표현을 지식 표현과 일치시키기 위해 KL 발산 손실을 적용한다.
• 교사 네트워크를 통한 대비 학습 전략을 도입하여 특징의 일반화 능력과 강건성을 향상시킨다.
• 사전 학습을 위해 다수의 해상도를 포함한 1,431,950장의 고분 위성 영상으로 구성된 Levir-KR 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 지형 커버 및 위치와 같은 지리 지식이 원격 탐사 영상의 표현 학습을 위한 효과적인 감독으로 활용될 수 있는가?
• RQ2 원격 탐사 영상과 지리 지식 간의 분辨율 및 촬영 시간 차이로 인한 노이즈를 사전 학습 과정에서 어떻게 완화할 수 있는가?
• RQ3 GeoKR는 후행 원격 탐사 작업에서 레이블링 데이터의 필요성을 어느 정도 줄일 수 있는가?
• RQ4 GeoKR는 후행 작업 성능에서 ImageNet 사전 학습 및 자기지도 학습 방법을 초월하는가?

주요 결과

• GeoKR는 시나리오 분류, 의미적 세그멘테이션, 객체 탐지, 구름/积 snow 탐지 등 모든 후행 작업에서 ImageNet 사전 학습 및 자기지도 학습 방법(MoCo, SimCLR, BYOL)을 모두 초월한다.
• RSSCN7 데이터셋에서 GeoKR(ResNet50)는 100% 학습 데이터를 사용할 때 94.19%의 정확도를 기록하며, 기준 모델보다 2% 이상 높은 성능을 보였다.
• Vaihingen에서 의미적 세그멘테이션 작업을 수행한 GeoKR(ResNet50)는 100% 데이터로 72.68%의 정확도를 달성하여 기준 모델 대비 2.5% 향상된 성능을 보였다.
• 학습 데이터의 20%만으로도 GeoKR는 ImageNet 사전 학습을 100% 데이터로 수행한 성능과 유사한 결과를 내며, 레이블링 필요성을 절반 이하로 줄였다.
• 눈 탐지 작업에서 제한된 데이터로도 GeoKR는 성능을 10% 이상 향상시켜 강력한 데이터 효율성을 입증했다.
• 단절 실험 결과는 교사 네트워크와 지식 표현이 핵심 구성 요소임을 확인하였으며, 교사 모델이 가장 우수한 성능을 기록했다.