[논문 리뷰] Early- and in-season crop type mapping without current-year ground truth: generating labels from historical information via a topology-based approach

Chenxi Lin, Liheng Zhong외 4명|arXiv (Cornell University)|2021. 10. 19.

Remote Sensing in Agriculture인용 수 9

한 줄 요약

이 논문은 현재 연도의 현장 데이터 없이도 이전 연도의 데이터에서 유도된 연간 간 스펙트럼 특징 공간의 위상 구조를 전이함으로써 초기 및 시즌 중 작물 종류 레이블을 생성하는 위상 기반 방법을 제안한다. Landsat-8 및 Sentinel-2 데이터를 사용하여, 이 방법은 수확 전기인 만삭기/개화기 단계에서나마 옥수수의 F1 스코어 0.887과 콩의 F1 스코어 0.851을 달성하여, 최소한의 레이블링 비용으로도 시기적절하고 고정밀도의 작물 지ap핑을 가능하게 한다.

ABSTRACT

Land cover classification in remote sensing is often faced with the challenge of limited ground truth. Incorporating historical information has the potential to significantly lower the expensive cost associated with collecting ground truth and, more importantly, enable early- and in-season mapping that is helpful to many pre-harvest decisions. In this study, we propose a new approach that can effectively transfer knowledge about the topology (i.e. relative position) of different crop types in the spectral feature space (e.g. the histogram of SWIR1 vs RDEG1 bands) to generate labels, thereby support crop classification in a different year. Importantly, our approach does not attempt to transfer classification decision boundaries that are susceptible to inter-annual variations of weather and management, but relies on the more robust and shift-invariant topology information. We tested this approach for mapping corn/soybeans in the US Midwest and paddy rice/corn/soybeans in Northeast China using Landsat-8 and Sentinel-2 data. Results show that our approach automatically generates high-quality labels for crops in the target year immediately after each image becomes available. Based on these generated labels from our approach, the subsequent crop type mapping using a random forest classifier reach the F1 score as high as 0.887 for corn as early as the silking stage and 0.851 for soybean as early as the flowering stage and the overall accuracy of 0.873 in Iowa. In Northeast China, F1 scores of paddy rice, corn and soybeans and the overall accuracy can exceed 0.85 two and half months ahead of harvest. Overall, these results highlight unique advantages of our approach in transferring historical knowledge and maximizing the timeliness of crop maps. Our approach supports a general paradigm shift towards learning transferrable and generalizable knowledge to facilitate land cover classification.

연구 동기 및 목표

• 원격 감시 작물 분류에서 제한된 현장 데이터의 문제를 해결하기 위해.
• 현재 연도의 현장 데이터에 의존하지 않고도 초기 및 시즌 중 작물 종류 지도를 작성할 수 있도록 하기 위해.
• 스펙트럼 특징 공간 내에서 작물 종류 간에 안정적이고 이동에 민감하지 않은 위상적 관계를 연도 간 전이하기 위해.
• 현장 데이터 수집의 비용과 지연을 줄이면서도 높은 분류 정확도를 유지하기 위해.
• 시기적절하고 정확한 작물 지도를 통해 수확 전 의사결정 지원을 가능하게 하기 위해.

제안 방법

• 이 방법은 스펙트럼 특징 공간 내에서 작물 종류 간의 상대적 공간 배치(위상)를 식별하고 전이한다. 예를 들어 SWIR1 대 RDEG1 밴드의 히스토그램과 같은 특징을 포함한다.
• 기후나 농업 관리 조건의 변화에 따라 변하는 고정된 결정 경계가 아니라, 작물 클러스터 간의 상대적 위치와 같은 위상적 관계에 중점을 둔다.
• 기존의 Landsat-8 및 Sentinel-2 데이터에서 이전 연도의 히스토리컬 데이터를 활용해 위상적 특징을 추출하여 학습을 수행한다.
• 이러한 위상 패턴은 이후 타겟 연도의 영상이 수집된 직후 즉시 적용되어, 현장 데이터 없이도 가짜 레이블을 생성한다.
• 생성된 레이블을 기반으로 랜덤 포레스트 분류기를 학습시켜 실시간으로 작물 종류 지도를 생성한다.
• 이 방법은 미국 중서부의 옥수수/콩 시스템과 중국 동북부의 벼/옥수수/콩 시스템에서 검증되었다.

실험 결과

연구 질문

• RQ1 스펙트럼 특징 공간 내의 위상적 관계가 연도 간 신뢰성 있게 전이되어 현재 연도의 현장 데이터 없이도 작물 레이블을 생성할 수 있는가?
• RQ2 기존의 위상 지식과 현재 연도의 영상만을 사용하여 얼마나 이르게 정확한 작물 종류 지도를 작성할 수 있는가?
• RQ3 기존의 방법에 비해 위상 기반의 레이블 생성 방법이 초기 시즌 분류에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 기후와 农업 관리 방법의 연도 간 변동성에 대해 이 방법은 얼마나 강건한가?
• RQ5 이 방법은 미국 중서부와 중국 동북부와 같은 다양한 농업 생태 지역에서도 높은 정확도를 달성할 수 있는가?

주요 결과

• 미국 중서부에서 이 방법은 만삭기 및 개화기 단계에서나마 옥수수의 F1 스코어 0.887과 콩의 F1 스코어 0.851을 기록하여 고품질의 가짜 레이블을 생성하였다.
• 아이오와 주에서는 생성된 레이블을 사용하여 전체 정확도가 0.873에 도달하여, 최소한의 레이블링 비용으로도 뛰어난 성능을 입증하였다.
• 중국 동북부에서는 벼, 옥수수, 콩의 F1 스코어가 모두 0.85를 초과하였으며, 수확 전 약 2.5개월 전에 달성되었다.
• 현행 연도의 현장 데이터가 필요로 하지 않아도 높은 정확도를 달성하여 데이터 수집 비용을 크게 절감하였다.
• 위상 기반 전이 방법은 기후와 농업 관리 방법의 연도 간 변동성에 대해 강건함을 입증하였다.
• 결과적으로 위상은 원격 감시에서 토지 피복 분류에 있어 안정적이고 이식 가능한 신호임을 시사한다.