[논문 리뷰] Detection and Prediction of Nutrient Deficiency Stress using Longitudinal Aerial Imagery

Saba Dadsetan, Gisele Rose외 2명|arXiv (Cornell University)|2020. 12. 17.

Smart Agriculture and AI참고 문헌 58인용 수 6

한 줄 요약

이 논문은 농업 분야의 영양 결핍 스트레스(NDS)를 탐지하고 예측하기 위해 종단 간 고해상도 항공 영상 데이터를 활용하는 시공간 딥러닝 모델을 제안한다. U-Net과 컨volution 리커런트 LSTM을 조합한 모델은 탐지에 대해 0.53의 IOU 스코어를 달성하고, 최대 3주 전까지 예측에 대해 0.47~0.51의 IOU 스코어를 유지하여 수확량을 높이고 환경 영향을 줄이는 정밀하고 조기에 개입할 수 있도록 한다.

ABSTRACT

Early, precise detection of nutrient deficiency stress (NDS) has key economic as well as environmental impact; precision application of chemicals in place of blanket application reduces operational costs for the growers while reducing the amount of chemicals which may enter the environment unnecessarily. Furthermore, earlier treatment reduces the amount of loss and therefore boosts crop production during a given season. With this in mind, we collect sequences of high-resolution aerial imagery and construct semantic segmentation models to detect and predict NDS across the field. Our work sits at the intersection of agriculture, remote sensing, and modern computer vision and deep learning. First, we establish a baseline for full-field detection of NDS and quantify the impact of pretraining, backbone architecture, input representation, and sampling strategy. We then quantify the amount of information available at different points in the season by building a single-timestamp model based on a UNet. Next, we construct our proposed spatiotemporal architecture, which combines a UNet with a convolutional LSTM layer, to accurately detect regions of the field showing NDS; this approach has an impressive IOU score of 0.53. Finally, we show that this architecture can be trained to predict regions of the field which are expected to show NDS in a later flight -- potentially more than three weeks in the future -- maintaining an IOU score of 0.47-0.51 depending on how far in advance the prediction is made. We will also release a dataset which we believe will benefit the computer vision, remote sensing, as well as agriculture fields. This work contributes to the recent developments in deep learning for remote sensing and agriculture, while addressing a key social challenge with implications for economics and sustainability.

연구 동기 및 목표

• 농업 분야에서 수확 손실과 화학 비료 과다 사용을 줄이기 위해 영양 결핍 스트레스(NDS)의 조기에 정밀하게 탐지할 수 있도록 하는 것.
• 시퀀스 형태의 항공 영상 데이터를 활용하는 시공간 딥러닝 모델을 개발하여 NDS 탐지 및 예측의 정확도를 향상시키는 것.
• 모델 아키텍처 선택, 입력 표현 방식, 샘플링 전략이 NDS 탐지 성능에 미치는 영향을 정량화하는 것.
• 시간적 모델링이 탐지 기능을 향상시킬 뿐 아니라, 향후 3주 이내의 NDS를 신뢰성 있게 예측할 수 있음을 입증하는 것.
• 컴퓨터 비전, 원격 감지 및 지속 가능한 농업 분야의 연구를 촉진하기 위해 고해상도 항공 영상 데이터셋을 공개하는 것.

제안 방법

• 단일 항공 영상 데이터를 사용하여 기준선 NDS 탐지를 위한 U-Net 기반의 세그멘테이션 모델을 구축한다.
• 사전 훈련, 백본 아키텍처, 입력 표현 방식(예: 9채널 RGB+NIR) 및 샘플링 전략이 탐지 성능에 미치는 영향을 평가한다.
• 연속된 비행 데이터를 기반으로 시간적 동역학을 모델링하기 위해 U-Net과 컨volution 리커런트 LSTM을 조합한 새로운 시공간 아키텍처를 제안한다.
• 현재 NDS 마스크(Pt)를 예측하기 위해 이전 3장의 영상(It−3, It−2, It−1)을 시퀀스로 사용하여 모델을 훈련시키며, 공유 및 비공유 가중치 버전을 테스트한다.
• 유사한 아키텍처를 활용해 예측을 위해 이전 영상 시퀀스(예: It−4, It−3, It−2)를 사용하여 향후 비행에서의 NDS를 예측하도록 재사용한다.
• 성능 평가에는 교차율(IOU), F1 스코어, 포칼 + 딱지 손실 함수를 사용하며, 아키텍처 구성 요소에 대한 아블레이션 스터디를 실시한다.

실험 결과

연구 질문

• RQ1 단일 영상 기반 모델에 비해 시공간 딥러닝 모델이 영양 결핍 스트레스 탐지 정확도를 향상시킬 수 있는가?
• RQ2 종단 간 항공 영상 데이터를 통합함으로써, 계절적 변화나 조명 변화와 같은 요소를 구분함으로써 모델의 NDS 탐지 능력이 얼마나 향상되는가?
• RQ3 동일한 모델 아키텍처로 향후 NDS 발생을 예측할 수 있으며, 얼마나 오래 전까지 신뢰할 수 있는 예측이 가능한가?
• RQ4 공유/비공유 가중치, 또는 사전 LSTM 레이어 포함 여부와 같은 아키텍처 선택이 탐지 및 예측 성능에 미치는 영향은 어떠한가?
• RQ5 RGB+NIR와 같은 다양한 입력 표현 방식과 샘플링 전략이 모델의 강건성과 정확도에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 시공간 모델은 공유 가중치를 사용할 경우 0.57, 비공유 가중치를 사용할 경우 0.53의 IOU 스코어를 기록하여 단일 영상 기반 기준선 모델보다 유의미하게 높은 성능을 달성했다.
• 예측 성능은 공유 가중치를 사용할 경우, 한 번과 두 번의 비행(약 3주) 전 예측에서 각각 0.53과 0.47의 IOU 스코어를 기록했다.
• 두 번의 비행 전 예측 성능(IOU 0.47)이 가장 우수한 단일 영상 탐지 모델의 IOU(0.30)를 초월하여 시간적 모델링의 가치를 입증했다.
• 시공간 모델에서 공유 가중치를 사용함으로써 성능을 유지하면서 모델 크기를 줄여 실용적 적용에 유리하게 만들었다.
• 아블레이션 스터디 결과, U-Net과 컨volution 리커런트 LSTM을 적절한 입력 표현(9채널: RGB+NIR)과 조합한 조합이 가장 우수한 성능을 보였다.
• 연구에서 고해상도(10cm/픽셀) 종단 간 항공 영상 데이터셋을 공개하였으며, 이는 원격 감지 및 농업 분야의 컴퓨터 비전 연구를 촉진할 것으로 기대된다.