[논문 리뷰] A Sentinel-2 multi-year, multi-country benchmark dataset for crop classification and segmentation with deep learning

Dimitrios Sykas, Maria Sdraka외 2명|arXiv (Cornell University)|2022. 04. 02.

Smart Agriculture and AI인용 수 5

한 줄 요약

이 논문은 스페인과 프랑스의 통합 LPIS 농민 신고 자료를 활용해 2016–2020년 기간 동안 제작된 대규모, 다년간, 다국적 센티넬-2 기반 농작물 분류 및 세분화를 위한 벤치마크 데이터셋인 Sen4AgriNet을 소개한다. 이 데이터셋은 픽셀 수준의 세분화를 위한 PAD 및 토지 단위 분류를 위한 OAD라는 두 가지 하위 데이터셋을 통해 딥러닝 응용을 가능하게 하며, 공간-시간적 변동성으로 인한 성능 저하가 심각하게 나타나 도메인 적응 기법의 필요성을 부각시킨다.

ABSTRACT

In this work we introduce Sen4AgriNet, a Sentinel-2 based time series multi country benchmark dataset, tailored for agricultural monitoring applications with Machine and Deep Learning. Sen4AgriNet dataset is annotated from farmer declarations collected via the Land Parcel Identification System (LPIS) for harmonizing country wide labels. These declarations have only recently been made available as open data, allowing for the first time the labeling of satellite imagery from ground truth data. We proceed to propose and standardise a new crop type taxonomy across Europe that address Common Agriculture Policy (CAP) needs, based on the Food and Agriculture Organization (FAO) Indicative Crop Classification scheme. Sen4AgriNet is the only multi-country, multi-year dataset that includes all spectral information. It is constructed to cover the period 2016-2020 for Catalonia and France, while it can be extended to include additional countries. Currently, it contains 42.5 million parcels, which makes it significantly larger than other available archives. We extract two sub-datasets to highlight its value for diverse Deep Learning applications; the Object Aggregated Dataset (OAD) and the Patches Assembled Dataset (PAD). OAD capitalizes zonal statistics of each parcel, thus creating a powerful label-to-features instance for classification algorithms. On the other hand, PAD structure generalizes the classification problem to parcel extraction and semantic segmentation and labeling. The PAD and OAD are examined under three different scenarios to showcase and model the effects of spatial and temporal variability across different years and different countries.

연구 동기 및 목표

• 지구 관측을 통한 농업 모니터링을 위한 통합된, 대규모의, 다시기의, 다국적 레이블링 데이터의 부족을 해결하기 위해.
• FAO 및 CAP 요건을 기반으로 유럽 전역에서의 농작물 유형 분류 체계를 표준화하여 딥러닝 모델의 다국적 일반화를 가능하게 하기 위해.
• 공개된 LPIS 데이터와 센티넬-2 위성 영상 자료를 활용해 공간적, 시간적, 스펙트럼적 일관성을 확보한 벤치마크 데이터셋을 구축하기 위해.
• PAD 및 OAD라는 두 가지 모듈식 하위 데이터셋을 통해 다양한 딥러닝 응용, 예를 들어 의미세분화, 인스턴스세분화, 팬옵틱 세분화를 가능하게 하기 위해.
• 지리적 및 시간적 도메인 간의 모델 일반화 성능을 평가하여 전이학습의 과제와 도메인 적응의 필요성을 규명하기 위해.

제안 방법

• 스페인 카탈로니아와 프랑스의 공개 LPIS 토지 단위 데이터와 2016–2020년 기간 동안의 정렬된 센티넬-2 시계열 영상 자료를 기반으로 Sen4AgriNet를 구축하기 위해.
• FAO ICC를 기반으로 하되, CAP 및 원격 감지 요구사항에 맞게 조정된 168개의 레이블을 포함하는 통합된 농작물 분류 체계를 개발하기 위해.
• 각 토지 단위의 원본 센티넬-2 스펙트럼 대역을 시간 시리즈 형태로 유지하여 패치 집계 데이터셋(PAD)을 생성하기 위해.
• 모든 스펙트럼 대역에 대해 각 토지 단위의 구역 통계치(평균, 표준편차, 최소값, 최대값)를 계산하여 개체 집계 데이터셋(OAD)을 생성하기 위해.
• 실제 세계의 도메인 이동 상황을 시뮬레이션하기 위해, 다양한 국가와 연도 간의 모델 일반화 성능을 평가하기 위한 세 가지 별도의 학습 및 테스트 시나리오를 설계하기 위해.
• PAD 및 OAD에 대해 U-Net, ConvLSTM, ConvSTAR, LSTM, Transformer-encoder, TempCNN 등의 딥러닝 모델을 적용하여 분류 및 세분화 작업을 수행하기 위해.

실험 결과

연구 질문

• RQ1 농작물 분류 및 세분화 작업에서 서로 다른 지리적 지역과 연도 간에 모델 성능이 어떻게 저하되는가?
• RQ2 농작물 생육 주기와 스펙트럼 특성의 공간-시간적 변동성이 딥러닝 모델의 일반화 능력에 얼마나 큰 영향을 미치는가?
• RQ3 도메인 적응 기법이 훈련 도메인과 테스트 도메인 간의 분포 이동으로 인한 성능 저하를 효과적으로 완화할 수 있는가?
• RQ4 레이블과 환경 조건이 상이한 다른 국가로의 모델 일반화 능력은 얼마나 뛰어난가?
• RQ5 U-Net, 트랜스포머, LSTMs 등의 다양한 딥러닝 아키텍처가 PAD 및 OAD 하위 데이터셋에서 농작물 세분화 및 분류 작업에 대해 어떤 정도의 비교적 효과를 보이는가?

주요 결과

• Sen4AgriNet는 4,250만 개의 토지 단위와 225,000개의 센티넬-2 패치를 포함하여, 농업 모니터링을 위한 가장 큰 다국적, 다년간, 다스펙트럼 벤치마크 데이터셋이다.
• 지역 및 연도 간에 모델을 이전할 경우 성능 저하가 심각하게 나타나 직접 지식 전이 시 정확도가 크게 낮아지고 일반화 능력이 떨어진다.
• OAD 하위 데이터셋은 트랜스포머 및 LSTM과 같은 모델을 통해 높은 정확도의 토지 단위 분류를 가능하게 하며, 알려진 토지 기하학적 구조에서 뛰어난 성능을 발휘한다.
• PAD 하위 데이터셋은 U-Net 및 ConvLSTM 모델을 통해 다양한 생육 주기와 기후 조건에서 견고한 결과를 도출할 수 있는 의미세분화를 지원한다.
• 이 데이터셋은 레이블 분포의 이동과 공간-시간적 변동성이 모델 일반화의 주요 장벽임을 드러내며, 도메인 적응 전략의 필요성을 강조한다.
• 168개의 레이블(비농작물 '스터프' 클래스 포함)과 정밀한 토지 경계를 포함함으로써, Sen4AgriNet는 인스턴스 세분화 및 팬옵틱 세분화와 같은 고급 세분화 작업을 지원한다.