[논문 리뷰] An Efficient Data Warehouse for Crop Yield Prediction

Vuong M. Ngo, Nhien‐An Le‐Khac외 1명|arXiv (Cornell University)|2018. 06. 26.

Data Mining Algorithms and Applications참고 문헌 16인용 수 11

한 줄 요약

이 논문은 정밀 농업에서 작물 수확량 예측을 위한 이질적이고 대규모 농업 빅데이터를 통합하기 위해 별자리 스키마를 사용하는 효율적인 데이터 웨어하우스 아키텍처를 제안한다. 이해관계자 간 실시간, 보안 및 프라이버시 보장된 액세스를 가능하게 하여 확장 가능한 데이터 통합 및 분석을 통해 의사결정 지원을 향상시키며, 예측 모델링을 위한 시공간 작물 데이터 처리에서 높은 효율성을 입증한다.

ABSTRACT

Nowadays, precision agriculture combined with modern information and communications technologies, is becoming more common in agricultural activities such as automated irrigation systems, precision planting, variable rate applications of nutrients and pesticides, and agricultural decision support systems. In the latter, crop management data analysis, based on machine learning and data mining, focuses mainly on how to efficiently forecast and improve crop yield. In recent years, raw and semi-processed agricultural data are usually collected using sensors, robots, satellites, weather stations, farm equipment, farmers and agribusinesses while the Internet of Things (IoT) should deliver the promise of wirelessly connecting objects and devices in the agricultural ecosystem. Agricultural data typically captures information about farming entities and operations. Every farming entity encapsulates an individual farming concept, such as field, crop, seed, soil, temperature, humidity, pest, and weed. Agricultural datasets are spatial, temporal, complex, heterogeneous, non-standardized, and very large. In particular, agricultural data is considered as Big Data in terms of volume, variety, velocity and veracity. Designing and developing a data warehouse for precision agriculture is a key foundation for establishing a crop intelligence platform, which will enable resource efficient agronomy decision making and recommendations. Some of the requirements for such an agricultural data warehouse are privacy, security, and real-time access among its stakeholders (e.g., farmers, farm equipment manufacturers, agribusinesses, co-operative societies, customers and possibly Government agencies). However, currently there are very few reports in the literature that focus on the design of efficient data warehouses with the view of enabling Agricultural Big Data analysis and data mining. In this paper ...

연구 동기 및 목표

• 정밀 농업에서 농업 빅데이터에 특화된 효율적인 데이터 웨어하우스 설계의 부족을 해결하기 위해.
• 농민, 농업 기업, 정부 기관과 같은 다양한 이해관계자 간 실시간, 보안 및 프라이버시 보장된 데이터 액세스를 지원하기 위해.
• IoT 센서, 위성, 농장 장비와 같은 이질적 원천에서의 확장 가능한 데이터 통합을 가능하게 하여 작물 수확량 예측을 향상시키기 위해.
• 농업적 의사결정을 위한 머신러닝 및 데이터 마이닝 워크로드를 지원하는 데이터 웨어하우스를 설계하기 위해.

제안 방법

• 논리적 복잡한 농업 엔티티인 필드, 작물, 토양, 기상 조건 등을 모델링하기 위해 별자리 스키마를 사용한 데이터 웨어하우스 설계를 수행한다.
• IoT 센서 스트림, 위성 영상, 농장 관리 기록을 포함한 다중원천, 이질적 농업 데이터를 통합한다.
• 농업 빅데이터의 볼륨, 다양성, 속도 및 진실성(Veracity)을 처리하기 위한 데이터 모델링 기법을 구현한다.
• 다중 이해관계자 환경에 적합한 액세스 제어 메커니즘을 통해 데이터 보안 및 프라이버시를 확보한다.
• 예측 분석을 지원하기 위한 온라인 분석 처리(OLAP) 연산 및 효율적 쿼리에 최적화된 스키마를 설계한다.
• 동적 의사결정 지원 시스템을 지원하기 위해 실시간 데이터 수집 및 처리 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 어떻게 다양한 대규모 농업 빅데이터 원천을 효율적으로 통합하여 작물 수확량 예측에 활용할 수 있는가?
• RQ2 어떤 스키마 설계가 복잡한 농업 엔티티와 그들의 시공간 관계를 효과적으로 모델링할 수 있는가?
• RQ3 다중 이해관계자 환경에서 데이터 프라이버시와 실시간 액세스를 어떻게 확보할 수 있는가?
• RQ4 어떤 아키텍처 선택이 정밀 농업을 위한 데이터 웨어하우스의 확장성과 성능을 향상시키는가?
• RQ5 제안된 데이터 웨어하우스는 작물 수확량 예측 모델의 정확성과 효율성을 어느 정도 향상시키는가?

주요 결과

• 제안된 별자리 스키마는 복잡한 농업 엔티티와 그 상호관계를 효과적으로 모델링하여 데이터 통합 및 쿼리 성능을 향상시킨다.
• 데이터 웨어하우스는 IoT 및 위성 원천에서 실시간 데이터 수집을 지원하여 의사결정 지원을 위한 최신 분석을 가능하게 한다.
• 시스템은 데이터 프라이버시 및 액세스 제어를 보장하여 다양한 농업 이해관계자 간의 배포에 적합하다.
• 고속도, 이질적 농업 빅데이터를 처리하는 데 있어 아키텍처는 확장성을 입증하며 예측 모델링을 위한 데이터 준비 시간을 감소시킨다.
• 다양한 원천의 빅데이터 통합은 작물 수확량 예측 모델의 정확성과 신뢰성을 향상시킨다.