[논문 리뷰] Multi-Region Transfer Learning for Segmentation of Crop Field Boundaries in Satellite Images with Limited Labels

Hannah Kerner, Saketh Sundar외 1명|arXiv (Cornell University)|2024. 03. 29.

Remote Sensing in Agriculture인용 수 6

한 줄 요약

본 논문은 타깃 지역의 라벨이 부족한 상황에서 위성 이미지의 작물 밭 경계를 분할하기 위한 다지역 전이 학습 접근법을 제시하며, Spatio-Temporal U-net과 다중 시계열 입력을 활용한 3단계 사전학습/미세조정/평가 파이프라인을 사용한다.

ABSTRACT

The goal of field boundary delineation is to predict the polygonal boundaries and interiors of individual crop fields in overhead remotely sensed images (e.g., from satellites or drones). Automatic delineation of field boundaries is a necessary task for many real-world use cases in agriculture, such as estimating cultivated area in a region or predicting end-of-season yield in a field. Field boundary delineation can be framed as an instance segmentation problem, but presents unique research challenges compared to traditional computer vision datasets used for instance segmentation. The practical applicability of previous work is also limited by the assumption that a sufficiently-large labeled dataset is available where field boundary delineation models will be applied, which is not the reality for most regions (especially under-resourced regions such as Sub-Saharan Africa). We present an approach for segmentation of crop field boundaries in satellite images in regions lacking labeled data that uses multi-region transfer learning to adapt model weights for the target region. We show that our approach outperforms existing methods and that multi-region transfer learning substantially boosts performance for multiple model architectures. Our implementation and datasets are publicly available to enable use of the approach by end-users and serve as a benchmark for future work.

연구 동기 및 목표

• 농업에서 수확량, 면적 추정, 조사 등을 위한 중요한 실용적 분할 작업으로서 밭 경계 구분의 중요성을 동기화한다.
• 타깃 지역의 레이블 부족 문제를 해결하기 위해 다른 지역의 라벨 데이터를 활용하는 다지역 전이 학습을 활용한다.
• 지역과 센서를 넘나들 수 있는 유연한 아키텍처를 개발·평가하여 경계 및 내부 구분 성능을 향상한다.

제안 방법

• ResNet 백본을 갖춘 Spatio-Temporal U-net(ST-U-net) 아키텍처를 채택하여 경계 마스크와 내부 마스크를 예측한다.
• 다지역 전이 학습: region Dp의 대형 레이블 데이터 세트에서 사전학습하고, region-f의 소규모로 미세조정한 뒤 타깃 region Dt에서 평가하며, 미세조정 지역이 Dp와 Dt 사이의 다리 역할을 한다.
• 다중 시계열 입력(세 계절 합성)을 포함하여 필드의 시간적 변화를 포착하고, 단일 시점 입력 U-net과 비교한다.
• 데이터를 Sentinel-2 및 PlanetScope 데이터세트에서 224x224 이미지 타일로 처리하며, 지역별로 세 계절 합성을 사용한다.
• 경계와 내부 마스크 모두를 평가하고, 픽셀 단위 F1, 정확도, 평균 IoU, IoU >= 0.95에서의 정밀도를 지표로 사용한다.

Figure 1: Comparison between instance segmentation of crop fields in satellite remote sensing images (top) and example image from COCO dataset (bottom). In the top row, $t_{0}$ , $t_{1}$ , and $t_{n}$ represent satellite images acquired at different dates during the year. Top image shows field bound

실험 결과

연구 질문

• RQ1 레이블이 제한된 지역에서 다지역 전이 학습이 필드 경계 분할을 개선할 수 있는가?
• RQ2 세 계절 합성의 다시간 입력이 단일 시점 입력보다 경계 및 내부 구분에 성능이 나은가?
• RQ3 교차 지역 및 교차 센서 전이(예: Sentinel-2에서 PlanetScope) 가 서로 다른 지역의 성능에 어떤 영향을 미치는가?
• RQ4 교량 지역 데이터를 이용한 미세조정이 타깃 지역 성능에 미치는 영향은?
• RQ5 프랑스, 남아프리카 공화국, 케냐 등 다양한 지역과 레이블 가용성 시나리오에서도 제안된 방법이 견고한가?

주요 결과

• ST-U-net은 같은 백본을 사용하는 U-net보다 모든 지표와 지역에서 일관되게 우수하다.
• 세 시계 입력은 단일 시점 입력보다 성능을 크게 향상시킨다.
• 깊은 백본(ResNet-50, ResNet-101)은 더 높은 성능을 보여주지만 더 많은 학습 시간이 필요하다.
• 브리징 지역 데이터(예: 프랑스 S2에서 남아프리카 PS로)로 미세조정하면 케냐 및 다른 테스트 세트에서 경계 및 내부 지표가 크게 향상된다.
• 교차 지역 전이(한 지역에서 사전학습, 다른 곳에서 미세조정, 세 번째에서 테스트)는 미세조정 없이 대비에서 현저한 이득을 보여준다.
• 비지도 기준(Canny + watershed)은 학습된 모델보다 성능이 떨어진다.

Figure 2: Illustration of multi-region transfer learning approach. Model architecture adapted from (Aung et al. 2020 ) .