[논문 리뷰] A Homogeneous Ensemble of Artificial Neural Networks for Time Series Forecasting

Ratnadip Adhikari, R. K. Agrawal|arXiv (Cornell University)|2013. 02. 25.

Stock Market Forecasting Methods참고 문헌 18인용 수 12

한 줄 요약

이 논문은 검증 데이터에서 유도된 성능 기반 가중치를 사용하여 여러 학습 알고리즘을 통합하는 동종 앙상블(ensemble)을 제안한다. 다양한 학습 방법을 지능적으로 융합함으로써 시간 시리즈 예측의 정확도와 강건성을 크게 향상시키며, 네 가지 벤치마크 데이터셋에서 개별 ANN과 전통적인 통계 모델을 능가한다.

ABSTRACT

Enhancing the robustness and accuracy of time series forecasting models is an active area of research. Recently, Artificial Neural Networks (ANNs) have found extensive applications in many practical forecasting problems. However, the standard backpropagation ANN training algorithm has some critical issues, e.g. it has a slow convergence rate and often converges to a local minimum, the complex pattern of error surfaces, lack of proper training parameters selection methods, etc. To overcome these drawbacks, various improved training methods have been developed in literature; but, still none of them can be guaranteed as the best for all problems. In this paper, we propose a novel weighted ensemble scheme which intelligently combines multiple training algorithms to increase the ANN forecast accuracies. The weight for each training algorithm is determined from the performance of the corresponding ANN model on the validation dataset. Experimental results on four important time series depicts that our proposed technique reduces the mentioned shortcomings of individual ANN training algorithms to a great extent. Also it achieves significantly better forecast accuracies than two other popular statistical models.

연구 동기 및 목표

• 표준 역전파(backpropagation)의 한계, 즉 천천한 수렴과 국소 최솟값 문제를 해결하기 위해.
• 앙상블 학습을 통해 시간 시리즈 예측의 정확도와 강건성을 향상시키기 위해.
• 검증 성능에 기반해 다양한 학습 알고리즘에 동적으로 중요도를 할당하는 가중치 기반 앙상블 전략을 개발하기 위해.
• 제안된 방법을 확립된 통계 모델과 개별 ANN 접근 방식과 비교하기 위해.
• 다양한 데이터셋에서 시간 시리즈 예측의 향상을 위한 동종 앙상블의 효과를 입증하기 위해.

제안 방법

• 동일한 ANN 아키텍처를 여러 번 사용하여, 서로 다른 최적화 알고리즘으로 학습된 다수의 모델을 기반으로 동종 앙상블를 구성한다.
• 각 학습 알고리즘은 검증 데이터에서의 성능에 따라 가중치를 할당받으며, 최종 예측은 가중 평균을 사용한다.
• 다양한 알고리즘(예: Levenberg-Marquardt, 스케일된 공액 기울기)을 사용해 학습된 다수의 ANN 출력을 조합함으로써 분산을 줄이고 일반화 능력을 향상시킨다.
• 가중치 부여 방식은 각 모델의 검증 세트에서의 평균 제곱 오차(MSE)에 기반하며, 성능이 우수한 알고리즘을 우선시한다.
• 최종 예측은 개별 모델 예측의 가중합으로 계산되며, 가중치는 총합이 1이 되도록 정규화된다.
• 일반화 능력을 확보하기 위해 네 개의 실제 시간 시리즈 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 최적화 알고리즘으로 학습된 동종 ANN 앙상블이 시간 시리즈 예측 정확도를 향상시킬 수 있는가?
• RQ2 이 앙상블의 성능는 개별 ANN 모델과 전통적인 통계 모델과 비교해 어떻게 되는가?
• RQ3 검증 기반 가중치 부여 방식이 우수한 학습 알고리즘을 효과적으로 선별하여 예측 성능을 향상시키는가?
• RQ4 역전파 학습에서 발생하는 천천한 수렴과 국소 최솟값 문제를 앙상블이 어느 정도 완화하는가?
• RQ5 제안된 앙상블은 다양한 특성을 지닌 시간 시리즈에 대해 강건한가?

주요 결과

• 제안된 앙상블는 표준 역전파 학습에서 흔히 발생하는 수렴 문제와 국소 최솟값 문제를 크게 감소시켰다.
• 단일 알고리즘으로 학습된 개별 ANN 모델보다 앙상블가 훨씬 높은 예측 정확도를 달성했다.
• 테스트된 네 개의 시간 시리즈 데이터셋 전반에서 두 가지 유명한 통계 모델(예: ARIMA 및 지수 평활법)을 모두 능가했다.
• 검증 기반 가중치 부여 메커니즘이 성능이 뛰어난 학습 알고리즘을 효과적으로 우선시하여 전체 예측 신뢰도를 향상시켰다.
• 다양한 시간 시리즈에서 일관된 향상이 관찰되어 강력한 일반화 능력을 보였다.
• 결과적으로, 지능적인 가중치 부여를 통해 여러 학습 알고리즘을 융합하면 더 강건하고 정확한 예측이 가능하다는 점을 확인했다.