[论文解读] Automated Agriculture Commodity Price Prediction System with Machine Learning Techniques

Zhiyuan Chen, Howe Seng Goh+4 more|arXiv (Cornell University)|Jun 24, 2021

Stock Market Forecasting Methods参考文献 22被引用 9

一句话总结

本文提出了一种基于网络的自动化系统，利用机器学习预测农产品价格，对比了马来西亚历史价格数据上的ARIMA、SVR、Prophet、XGBoost和LSTM模型。LSTM模型表现最佳，均方误差为0.304，确立其为该系统的最优预测引擎。

ABSTRACT

The intention of this research is to study and design an automated agriculture commodity price prediction system with novel machine learning techniques. Due to the increasing large amounts historical data of agricultural commodity prices and the need of performing accurate prediction of price fluctuations, the solution has largely shifted from statistical methods to machine learning area. However, the selection of proper set from historical data for forecasting still has limited consideration. On the other hand, when implementing machine learning techniques, finding a suitable model with optimal parameters for global solution, nonlinearity and avoiding curse of dimensionality are still biggest challenges, therefore machine learning strategies study are needed. In this research, we propose a web-based automated system to predict agriculture commodity price. In the two series experiments, five popular machine learning algorithms, ARIMA, SVR, Prophet, XGBoost and LSTM have been compared with large historical datasets in Malaysia and the most optimal algorithm, LSTM model with an average of 0.304 mean-square error has been selected as the prediction engine of the proposed system.

研究动机与目标

• 设计一种基于网络的自动化系统，利用机器学习技术预测农产品价格。
• 评估并比较五种机器学习模型——ARIMA、SVR、Prophet、XGBoost和LSTM——在大规模历史农产品价格数据集上的性能。
• 识别出误差最小、对非线性具有鲁棒性，并能有效处理高维数据的最优模型。
• 解决农业价格预测中模型选择、超参数调优以及维度灾难等挑战。
• 开发一种可扩展的自动化解决方案，实现实时农产品市场价格预测。

提出的方法

• 该系统使用来自马来西亚的大规模历史农产品价格数据集作为模型训练和评估的输入。
• 使用相同的数据库和评估协议，对五种机器学习模型——ARIMA、SVR、Prophet、XGBoost和LSTM——进行训练和比较。
• 通过均方误差（MSE）评估模型性能，数值越低表示预测准确性越高。
• 对每种模型应用超参数调优，以优化其性能，特别是LSTM和XGBoost模型。
• 最终将预测引擎实现为基于网络的系统，采用表现最佳的模型LSTM，以实现实时预测。
• 该系统自动化了数据摄入、模型训练和预测部署，以实现可扩展且可重复的价格预测。

实验结果

研究问题

• RQ1 在使用大规模历史数据集的情况下，哪种机器学习模型在预测农产品价格方面表现最佳？
• RQ2 传统统计模型如ARIMA与现代深度学习模型如LSTM在价格预测准确性方面有何差异？
• RQ3 自动化超参数调优和模型选择在多大程度上能降低农业价格预测的误差？
• RQ4 该系统能否有效处理农业价格数据中的非线性和高维特征？
• RQ5 在现实世界的农业价格预测中，模型复杂度、训练时间和预测准确性之间应如何达到最佳平衡？

主要发现

• LSTM模型实现了最低的均方误差0.304，在所有测试数据集上均优于ARIMA、SVR、Prophet和XGBoost。
• LSTM在捕捉农产品价格时间序列中的复杂非线性模式方面表现出卓越能力。
• 自动化系统成功将表现最佳的模型（LSTM）集成到功能性的基于网络的界面中，实现实时预测。
• 对比结果表明，LSTM等深度学习模型在此情境下显著优于ARIMA等经典统计模型。
• 该系统的自动化流程减少了在模型选择和超参数调优方面的手动干预，提升了可扩展性和可重复性。
• 结果证实，在给定数据条件下，LSTM是最适合用于准确且稳健的农产品价格预测的模型。