[논문 리뷰] EarthNets: Empowering AI in Earth Observation

Zhitong Xiong, Fahong Zhang외 3명|arXiv (Cornell University)|2022. 10. 10.

Scientific Computing and Data Management인용 수 60

한 줄 요약

이 논문은 400개가 넘는 공개적으로 이용 가능한 지구 관측 데이터셋을 검토하고, 이들의 속성을 분석해 새로운 벤치마크를 구축하며, 원격감지 데이터에서 딥러닝 모델의 공정하고 재현 가능한 평가를 위해 EarthNets를 공개한다.

ABSTRACT

Earth observation (EO), aiming at monitoring the state of planet Earth using remote sensing data, is critical for improving our daily lives and living environment. With a growing number of satellites in orbit, an increasing number of datasets with diverse sensors and research domains are being published to facilitate the research of the remote sensing community. This paper presents a comprehensive review of more than 500 publicly published datasets, including research domains like agriculture, land use and land cover, disaster monitoring, scene understanding, vision-language models, foundation models, climate change, and weather forecasting. We systematically analyze these EO datasets from four aspects: volume, resolution distributions, research domains, and the correlation between datasets. Based on the dataset attributes, we propose to measure, rank, and select datasets to build a new benchmark for model evaluation. Furthermore, a new platform for EO, termed EarthNets, is released to achieve a fair and consistent evaluation of deep learning methods on remote sensing data. EarthNets supports standard dataset libraries and cutting-edge deep learning models to bridge the gap between the remote sensing and machine learning communities. Based on this platform, extensive deep-learning methods are evaluated on the new benchmark. The insightful results are beneficial to future research. The platform and dataset collections are publicly available at https://earthnets.github.io.

연구 동기 및 목표

• 공개 EO 데이터셋의 현재 상태를 태스크와 도메인 전반에 걸쳐 요약한다.
• 속성 기반 체계적 분석을 제공하여 데이터셋 선택과 벤치마킹에 정보를 제공한다.
• RS 방법을 위한 대규모, 공정한 벤치마크를 구축하기 위한 랭킹 및 선택 방법을 제안한다.
• EO 데이터에서 공정하고 재현 가능한 평가를 가능하게 하는 오픈 플랫폼으로 EarthNets를 공개한다.

제안 방법

• 이미지 분류, 객체 탐지, 의미 분할, 변화 탐지 및 기타 과제에 걸친 400+개의 공개 RS 데이터셋에 대한 포괄적 검토.
• 각 데이터셋당 10개의 속성 추출(도메인, 연도, 샘플 수, 크기, 클래스, 모달리티, 해상도, 용량, 인용, 링크를 포함).
• 다섯 가지 차원(용량, 서지학적 분석, 해상도 분포, 연구 도메인, 데이터셋 간 관계)을 따라 체계적 분석.
• 다섯 개의 대규모 범용 데이터셋의 순위 매김 및 선별을 통해 모델 평가를 위한 새로운 벤치마크를 구축.
• 표준 데이터셋 라이브러리를 제공하고 최첨단 DL 모델의 공정한 비교를 지원하는 EarthNets 플랫폼의 개발.
• 제안된 벤치마크에서 광범위한 DL 방법의 평가를 통해 향후 RS 연구에 대한 시사점을 도출.

실험 결과

연구 질문

• RQ1 공개 EO 데이터셋의 주요 속성은 무엇인가? (작업과 도메인에 걸쳐)
• RQ2 RS 방법을 위한 공정하고 대규모 벤치마크를 구성하기 위한 데이터셋의 랭킹 및 선택 방법은?
• RQ3 서로 다른 EO 데이터셋 간의 관계와 상관관계는 무엇이며, 이는 새로운 알고리즘 개발에 어떻게 정보를 제공하는가?
• RQ4 단일 플랫폼 EarthNets가 원격 sensing 데이터에서 딥러닝 방법의 공정하고 재현 가능한 평가를 어떻게 가능하게 하는가?

주요 결과

• 여러 EO 작업과 도메인에 걸쳐 400개가 넘는 공개 RS 데이터셋을 식별하고 분류했다.
• 검색 및 색인화를 용이하게 하기 위해 각 데이터셋에 대해 10개의 상세 속성을 제공했다.
• 다섯 개의 대규모 범용 데이터셋을 선택하고 새로운 RS 벤치마크를 구축하기 위한 순위 매김 접근법을 제안했다.
• 교차 데이터셋 알고리즘 개발에 새로운 시각을 제공하기 위한 데이터셋 상관 행렬을 구성했다.
• EO 작업의 공정한 비교와 효율적 방법 개발을 가능하게 하는 오픈 플랫폼으로 EarthNets를 공개했으며, 공개 접근은 earthnets.github.io에서 가능하다.