[論文レビュー] Automated Agriculture Commodity Price Prediction System with Machine Learning Techniques

Zhiyuan Chen, Howe Seng Goh+4 more|arXiv (Cornell University)|Jun 24, 2021

Stock Market Forecasting Methods参考文献 22被引用数 9

ひとこと要約

本論文は、マレーシアの歴史的価格データを用いて、ARIMA、SVR、Prophet、XGBoost、LSTMの各モデルを比較する、機械学習を用いた農産物価格予測のウェブベース自動システムを提案している。LSTMモデルは平均二乗誤差0.304を達成し、システムの最適な予測エンジンとしての地位を確立した。

ABSTRACT

The intention of this research is to study and design an automated agriculture commodity price prediction system with novel machine learning techniques. Due to the increasing large amounts historical data of agricultural commodity prices and the need of performing accurate prediction of price fluctuations, the solution has largely shifted from statistical methods to machine learning area. However, the selection of proper set from historical data for forecasting still has limited consideration. On the other hand, when implementing machine learning techniques, finding a suitable model with optimal parameters for global solution, nonlinearity and avoiding curse of dimensionality are still biggest challenges, therefore machine learning strategies study are needed. In this research, we propose a web-based automated system to predict agriculture commodity price. In the two series experiments, five popular machine learning algorithms, ARIMA, SVR, Prophet, XGBoost and LSTM have been compared with large historical datasets in Malaysia and the most optimal algorithm, LSTM model with an average of 0.304 mean-square error has been selected as the prediction engine of the proposed system.

研究の動機と目的

• 機械学習手法を用いた、農産物価格を予測する自動ウェブベースシステムの設計。
• 大規模な歴史的農産物価格データセットを用いて、ARIMA、SVR、Prophet、XGBoost、LSTMの5つの機械学習モデルの性能を評価・比較すること。
• 最小の誤差、非線形性へのロバストネス、高次元データの効果的取り扱いを備えた最適なモデルの特定。
• 農産物価格予測におけるモデル選択、ハイパーパramータチューニング、次元の呪いの課題への対処。
• 農業市場におけるリアルタイムの商品価格予測のためのスケーラブルで自動化されたソリューションの開発。

提案手法

• システムは、マレーシアの農産物価格の大きな歴史的データセットを、モデルのトレーニングおよび評価の入力として使用する。
• 同じデータセットと評価プロトコルを用いて、ARIMA、SVR、Prophet、XGBoost、LSTMの5つの機械学習モデルをトレーニングし、比較する。
• モデルの性能は平均二乗誤差（MSE）を用いて評価され、低い値であるほど予測精度が優れていることを示す。
• 特にLSTMおよびXGBoostの性能を最適化するために、ハイパーパramータチューニングが適用される。
• 最終的な予測エンジンは、最良の性能を示したモデル（LSTM）を用いて、ウェブベースのシステムとして実装され、リアルタイム予測が可能になる。
• システムは、データインジェスト、モデルトレーニング、予測デプロイメントを自動化することで、スケーラブルで再現可能な価格予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 大規模な歴史的データセットを用いた農産物価格予測において、どの機械学習モデルが最も優れた性能を示すか？
• RQ2 ARIMAのような従来の統計モデルと、LSTMのような現代のディープラーニングモデルは、価格予測精度においてどのように比較されるか？
• RQ3 自動ハイパーパramータチューニングおよびモデル選択は、農産物価格予測の誤差をどの程度低減できるか？
• RQ4 このシステムは、農産物価格データに含まれる非線形性と高次元特徴を効果的に処理できるか？
• RQ5 実世界の農産物価格予測において、モデルの複雑さ、トレーニング時間、予測精度の最適なバランスは何か？

主な発見

• LSTMモデルは、0.304という最小の平均二乗誤差を達成し、テストされたデータセット全体でARIMA、SVR、Prophet、XGBoostを上回った。
• LSTMは、農産物価格時系列データに含まれる複雑な非線形パターンを捉える能力に優れていた。
• 自動化されたシステムは、最良の性能を示したモデル（LSTM）を、リアルタイム予測が可能な機能的なウェブインターフェースに統合した。
• 比較結果から、LSTMのようなディープラーニングモデルは、ARIMAのような古典的統計モデルよりも著しく優れた性能を示した。
• システムの自動パイプラインにより、モデル選択およびハイパーパramータチューニングにおける人的介入が削減され、スケーラビリティと再現性が向上した。
• 結果から、与えられたデータ条件下でLSTMが、正確かつロバストな農産物価格予測に最も適したモデルであることが確認された。