[논문 리뷰] Integrating processed-based models and machine learning for crop yield prediction

Michiel Kallenberg, Bernardo Maestrini외 5명|arXiv (Cornell University)|2023. 07. 25.

Smart Agriculture and AI인용 수 6

한 줄 요약

이 논문은 프로세스 기반 작물 모델(Tipstar)으로 생성한 합성 데이터에서 컨볼루션 신경망을 사전 훈련하고, 실제 감자 수확량 데이터에서 미세조정하는 메타모델링 접근법을 제안한다. 이 방법은 데이터가 부족한 환경에서 예측 정확도를 향상시키며, 시뮬레이션에서는 순수 데이터 기반 모델을 능가하고 실제 현장 데이터에서는 프로세스 모델과 경쟁 가능한 성능을 보였지만, 제한된 데이터와 모델 복잡도로 인해 단순한 전문가 설계 선형 모델이 상업적 농장에서는 모든 모델을 능가했다.

ABSTRACT

Crop yield prediction typically involves the utilization of either theory-driven process-based crop growth models, which have proven to be difficult to calibrate for local conditions, or data-driven machine learning methods, which are known to require large datasets. In this work we investigate potato yield prediction using a hybrid meta-modeling approach. A crop growth model is employed to generate synthetic data for (pre)training a convolutional neural net, which is then fine-tuned with observational data. When applied in silico, our meta-modeling approach yields better predictions than a baseline comprising a purely data-driven approach. When tested on real-world data from field trials (n=303) and commercial fields (n=77), the meta-modeling approach yields competitive results with respect to the crop growth model. In the latter set, however, both models perform worse than a simple linear regression with a hand-picked feature set and dedicated preprocessing designed by domain experts. Our findings indicate the potential of meta-modeling for accurate crop yield prediction; however, further advancements and validation using extensive real-world datasets is recommended to solidify its practical effectiveness.

연구 동기 및 목표

• 실제 환경에서 흔히 확보되지 않는 대규모이고 다양한 데이터셋이 필요한 순수 데이터 기반 기계 학습 모델의 한계를 해결하기 위해.
• 매개변수 민감도와 시스템 복잡성으로 인해 지역 조건에 맞게 프로세스 기반 작물 모델을 校정하는 데 어려움을 해결하기 위해.
• 프로세스 기반 모델에서 생성한 합성 데이터로 딥 러닝 모델을 사전 훈련하면 실제 데이터에서의 수확량 예측 성능이 향상되는지 평가하기 위해.
• 실제 감자 수확량 데이터셋에서 하이브리드 메타모델링 접근법이 순수 프로세스 기반 모델, 순수 데이터 기반 모델, 그리고 도메인 전문가가 설계한 선형 모델과 비교하여 성능을 어떻게 냈는지 평가하기 위해.

제안 방법

• 7개의 위치, 32년, 32종의 토양 유형, 질소 비료, 파종 시기, 관개, 뿌리 깊이, 품종 조기성 등에 대한 랜덤 입력을 포함한 전수 조합을 통해 총 86,000건의 합성 데이터셋을 생성하였다.
• 시간적 기상 데이터(일조량, 강수량, 기온, 관개, 질소 비료 투입량)를 위한 별도의 스트림과 스칼라 입력(파종 시기, 뿌리 깊이, 품종 조기성)을 위한 별도의 스트림을 갖춘 다중 스트림 1D 컨볼루션 신경망을 이 합성 데이터에서 훈련하였다.
• 지역 조건에 적합하도록 303개의 현장 시험과 77개의 상업적 농장에서의 실제 관측 데이터를 사용하여 사전 훈련된 모델을 미세조정하였다.
• 단일 Tipstar 프로세스 기반 모델, 사전 훈련 없이 순수 데이터 기반 모델, 전문가가 선택한 특징과 전처리를 적용한 수작업 선형 회귀 모델과의 성능을 비교하였다.
• 메타모델은 프로세스 기반 모델의 출력을 사전 지식으로 활용하여 데이터가 부족한 환경에서 표현 학습을 안내함으로써 전이 학습을 활용한다.

Figure 1: Schematic overview of experimental setup, data flow and model development

실험 결과

연구 질문

• RQ1 프로세스 기반 작물 모델에서 생성한 합성 데이터로 딥 뉴럴 네트워크를 사전 훈련하면 실제 데이터에서의 수확량 예측 정확도가 향상되는가?
• RQ2 실제 감자 수확량 예측에서 메타모델의 성능은 순수 프로세스 기반 모델과 순수 데이터 기반 모델과 비교하여 어떻게 되는가?
• RQ3 훈련 데이터가 제한되고 대비가 낮을 경우, 합성 데이터의 포함이 복잡한 모델의 과적합 위험을 완화하는가?
• RQ4 데이터가 부족한 农업 환경에서 하이브리드 메타모델링 접근법은 전통적인 데이터 기반 모델과 전문가가 설계한 선형 모델을 능가하는가?

주요 결과

• 시뮬레이션 환경에서 메타모델은 순수 데이터 기반 모델을 능가했으며, 사전 훈련 후 실제 데이터 50건만으로도 데이터 기반 기준(1,000건)과 유사한 성능를 달성했다.
• 현장 시험 데이터셋(n=303)에서 메타모델은 R²=0.60을 기록했고, 순수 데이터 기반 모델(R²=0.02)을 능가했으며, 프로세스 기반 모델(R²=0.70)과 유사한 성능를 보였다.
• 상업적 농장 데이터셋(n=77)에서 메타모델은 R²=0.39를 기록했으며, 프로세스 기반 모델(R²=0.63)보다 낮았지만 여전히 경쟁 가능한 성능였다.
• 전문가가 설계한 선형 회귀 모델은 상업적 농장 데이터셋에서 모든 다른 모델을 능가했으며, R²=0.72와 RMSE=9.75를 기록하여, 낮은 데이터, 높은 표준화 환경에서는 단순한 모델이 더 견고할 수 있음을 시사했다.
• 순수 데이터 기반 모델은 실제 데이터에서 성능이 열악했으며(시험에서 R²=0.02, RMSE=15.80), 모델 복잡도와 데이터 다양성 부족으로 인해 작은, 대비가 낮은 데이터셋에서 과적합의 위험이 높다는 점을 시사했다.
• 프로세스 기반 모델에서 생성한 합성 데이터로 사전 훈련하는 것이 일반화 능력을 향상시키고, 특히 데이터가 부족한 농업 환경에서 대규모 실제 데이터셋에 대한 의존도를 줄이는 데 효과적이었다.

Figure 2: Fitness of the metamodel on the (hold-out) synthetic dataset (n=13,000; RMSE=5.1, black