[論文レビュー] An Efficient Data Warehouse for Crop Yield Prediction

Vuong M. Ngo, Nhien‐An Le‐Khac+1 more|arXiv (Cornell University)|Jun 26, 2018

Data Mining Algorithms and Applications参考文献 16被引用数 11

ひとこと要約

本論文は、精密農業における作物収量予測を目的として、異種で大規模な農業ビッグデータを統合するための、定常的スキーマを用いた効率的なデータウェアハウスアーキテクチャを提案する。ステークホルダー間でリアルタイムかつ安全でプライバシーを守ったアクセスを可能にすることで、スケーラブルなデータ統合と分析を実現し、予測モデリングに向けた空間的・時間的作物データの処理における効率性の向上を示している。

ABSTRACT

Nowadays, precision agriculture combined with modern information and communications technologies, is becoming more common in agricultural activities such as automated irrigation systems, precision planting, variable rate applications of nutrients and pesticides, and agricultural decision support systems. In the latter, crop management data analysis, based on machine learning and data mining, focuses mainly on how to efficiently forecast and improve crop yield. In recent years, raw and semi-processed agricultural data are usually collected using sensors, robots, satellites, weather stations, farm equipment, farmers and agribusinesses while the Internet of Things (IoT) should deliver the promise of wirelessly connecting objects and devices in the agricultural ecosystem. Agricultural data typically captures information about farming entities and operations. Every farming entity encapsulates an individual farming concept, such as field, crop, seed, soil, temperature, humidity, pest, and weed. Agricultural datasets are spatial, temporal, complex, heterogeneous, non-standardized, and very large. In particular, agricultural data is considered as Big Data in terms of volume, variety, velocity and veracity. Designing and developing a data warehouse for precision agriculture is a key foundation for establishing a crop intelligence platform, which will enable resource efficient agronomy decision making and recommendations. Some of the requirements for such an agricultural data warehouse are privacy, security, and real-time access among its stakeholders (e.g., farmers, farm equipment manufacturers, agribusinesses, co-operative societies, customers and possibly Government agencies). However, currently there are very few reports in the literature that focus on the design of efficient data warehouses with the view of enabling Agricultural Big Data analysis and data mining. In this paper ...

研究の動機と目的

• 精密農業における農業ビッグデータに特化した効率的なデータウェアハウス設計の欠如に対処すること。
• 農家、農業関連企業、政府機関など多様なステークホルダー間で、リアルタイムかつ安全でプライバシーを守ったデータアクセスを支援すること。
• IoTセンサー、衛星、農場機器など異種のデータソースからのスケーラブルなデータ統合を可能にし、作物収量予測の向上を図ること。
• 農業的意思決定に向けた機械学習およびデータマイニングワークロードを支援するデータウェアハウスを設計すること。

提案手法

• フィールド、作物、土壌、天候状態などの複雑な農業的エンティティをモデル化するため、定常的スキーマを用いたデータウェアハウスを設計する。
• IoTセンサーストリーム、衛星画像、農場管理記録を含む、マルチソースで異種の農業データを統合する。
• 農業ビッグデータのボリューム、バリエーション、バースティ、信頼性を処理するためのデータモデリング技術を実装する。
• 複数のステークホルダー環境に適したアクセス制御メカニズムを通じて、データのセキュリティとプライバシーを確保する。
• OLAP操作および効率的なクエリ処理を支援するため、スキーマを最適化する。
• 動的意思決定支援システムを支援するため、リアルタイムのデータインジェストおよび処理パイプラインを実装する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、作物収量予測のための多様で大規模な農業データソースを効率的に統合できるか？
• RQ2 どのようなスキーマ設計が、複雑な農業的エンティティおよびその時間的・空間的関係を効果的にモデル化できるか？
• RQ3 複数のステークホルダーが関与する農業データウェアハウスにおいて、プライバシーとリアルタイムアクセスをどのように確保できるか？
• RQ4 どのようなアーキテクチャ的選択が、精密農業におけるデータウェアハウスのスケーラビリティとパフォーマンスを向上させるか？
• RQ5 提案されたデータウェアハウスは、作物収量予測モデルの正確性と効率性をどの程度向上させるか？

主な発見

• 提案された定常的スキーマは、複雑な農業的エンティティおよびその相互関係を効果的にモデル化し、データ統合とクエリパフォーマンスの向上を実現した。
• データウェアハウスは、IoTおよび衛星ソースからのリアルタイムデータインジェストをサポートしており、意思決定支援のための最新の分析を可能にした。
• システムはデータプライバシーとアクセス制御を確保しており、多様な農業ステークホルダー間での展開に適している。
• アーキテクチャは、高速度で異種の農業データを処理する上でスケーラビリティを示し、予測モデリングのためのデータ準備時間を短縮した。
• 複数のソースからのビッグデータ統合により、作物収量予測モデルの正確性と信頼性が向上した。