[논문 리뷰] Automated Agriculture Commodity Price Prediction System with Machine Learning Techniques

Zhiyuan Chen, Howe Seng Goh외 4명|arXiv (Cornell University)|2021. 06. 24.

Stock Market Forecasting Methods참고 문헌 22인용 수 9

한 줄 요약

이 논문은 기계학습을 사용하여 말레이시아의 역사적 가격 데이터를 기반으로 농산물 가격을 예측하는 웹 기반 자동화 시스템을 제안한다. ARIMA, SVR, Prophet, XGBoost, LSTM 모델을 비교 분석한 결과, LSTM 모델이 평균 제곱 오차(MSE) 0.304로 가장 뛰어난 성능을 보였으며, 이는 시스템의 최적 예측 엔진으로서의 위치를 확립한다.

ABSTRACT

The intention of this research is to study and design an automated agriculture commodity price prediction system with novel machine learning techniques. Due to the increasing large amounts historical data of agricultural commodity prices and the need of performing accurate prediction of price fluctuations, the solution has largely shifted from statistical methods to machine learning area. However, the selection of proper set from historical data for forecasting still has limited consideration. On the other hand, when implementing machine learning techniques, finding a suitable model with optimal parameters for global solution, nonlinearity and avoiding curse of dimensionality are still biggest challenges, therefore machine learning strategies study are needed. In this research, we propose a web-based automated system to predict agriculture commodity price. In the two series experiments, five popular machine learning algorithms, ARIMA, SVR, Prophet, XGBoost and LSTM have been compared with large historical datasets in Malaysia and the most optimal algorithm, LSTM model with an average of 0.304 mean-square error has been selected as the prediction engine of the proposed system.

연구 동기 및 목표

• 기계학습 기법을 사용하여 농산물 가격을 예측하는 자동화된 웹 기반 시스템을 설계하는 것.
• 대규모 역사적 농산물 가격 데이터셋에 대해 다섯 가지 기계학습 모델—ARIMA, SVR, Prophet, XGBoost, LSTM—의 성능을 평가하고 비교하는 것.
• 최소 오차, 비선형성에 대한 강건성, 고차원 데이터 처리 능력이 뛰어난 최적의 모델을 식별하는 것.
• 농산물 가격 예측에서 모델 선택, 하이퍼파rameter 튜닝, 차원의 저주 문제와 같은 과제를 해결하는 것.
• 실시간 농산물 시장 가격 예측을 위한 확장 가능하고 자동화된 솔루션을 개발하는 것.

제안 방법

• 모델 훈련 및 평가를 위해 말레이시아의 대규모 역사적 농산물 가격 데이터셋을 입력으로 사용한다.
• 동일한 데이터셋과 평가 프로토콜을 사용하여 ARIMA, SVR, Prophet, XGBoost, LSTM 등 다섯 가지 기계학습 모델을 훈련하고 비교한다.
• 모델 성능은 평균 제곱 오차(MSE)를 사용해 평가하며, 낮은 값일수록 더 높은 예측 정확도를 의미한다.
• 특히 LSTM 및 XGBoost의 성능을 최적화하기 위해 하이퍼파rameter 튜닝을 적용한다.
• 최종 예측 엔진은 실시간 예측을 위해 최고 성능을 보인 모델인 LSTM을 사용하여 웹 기반 시스템으로 구현된다.
• 시스템은 데이터 수신, 모델 훈련, 예측 배포를 자동화하여 확장 가능하고 반복 가능한 가격 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대규모 역사적 데이터셋을 사용할 때 어떤 기계학습 모델이 농산물 가격 예측에서 가장 우수한 성능을 보이는가?
• RQ2 ARIMA와 같은 전통적 통계 모델은 LSTM과 같은 현대 딥러닝 모델에 비해 예측 정확도에서 얼마나 떨어지는가?
• RQ3 자동화된 하이퍼파rameter 튜닝 및 모델 선택은 농산물 가격 예측 오차를 어느 정도 감소시킬 수 있는가?
• RQ4 시스템은 농산물 가격 데이터의 비선형성과 고차원 특징을 효과적으로 처리할 수 있는가?
• RQ5 실세계 농산물 가격 예측에서 모델 복잡도, 훈련 시간, 예측 정확도 사이의 최적의 균형은 무엇인가?

주요 결과

• LSTM 모델이 가장 낮은 평균 제곱 오차 0.304를 기록하여 ARIMA, SVR, Prophet, XGBoost를 모두 앞서는 성능을 보였다.
• LSTM는 농산물 가격 시계열 데이터의 복잡한 비선형 패턴을 효과적으로 포착하는 데 뛰어난 능력을 보였다.
• 자동화된 시스템은 최고 성능을 보인 모델(LSTM)을 기반으로 실시간 예측을 위한 기능적인 웹 기반 인터페이스로 성공적으로 통합했다.
• 비교 분석 결과, 딥러닝 모델인 LSTM이 ARIMA와 같은 전통적 통계 모델보다 이 분야에서 상당히 뛰어난 성능을 보였다.
• 시스템의 자동화된 파이프라인은 모델 선택 및 하이퍼파rameter 튜닝에 대한 수동 간섭을 줄여주어 확장성과 재현 가능성을 향상시켰다.
• 결과적으로, 주어진 데이터 조건 하에서 LSTM가 정확하고 강건한 농산물 가격 예측에 가장 적합한 모델임을 확인했다.