[논문 리뷰] Time series model selection with a meta-learning approach; evidence from a pool of forecasting algorithms

Sasan Barak, Mahdi Nasiri외 1명|arXiv (Cornell University)|2019. 08. 22.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

이 논문은 다양한 최첨단 방법에서 최적의 예측 알고리즘을 추천하기 위해 시계열의 특징을 활용하는 메타학습 프레임워크를 제안한다. NN5 데이터셋과 여러 메타학습기들을 사용하여, 메타학습기가 개별 예측기보다 우수한 성능을 보이며, 특히 특징 선택을 통해 성능이 더욱 향상됨을 입증한다. 이는 알고리즘 선택, 오차 측정 기준 민감도, 특징 공간 차원 수의 핵심 격차를 해결한다.

ABSTRACT

One of the challenging questions in time series forecasting is how to find the best algorithm. In recent years, a recommender system scheme has been developed for time series analysis using a meta-learning approach. This system selects the best forecasting method with consideration of the time series characteristics. In this paper, we propose a novel approach to focusing on some of the unanswered questions resulting from the use of meta-learning in time series forecasting. Therefore, three main gaps in previous works are addressed including, analyzing various subsets of top forecasters as inputs for meta-learners; evaluating the effect of forecasting error measures; and assessing the role of the dimensionality of the feature space on the forecasting errors of meta-learners. All of these objectives are achieved with the help of a diverse state-of-the-art pool of forecasters and meta-learners. For this purpose, first, a pool of forecasting algorithms is implemented on the NN5 competition dataset and ranked based on the two error measures. Then, six machine-learning classifiers known as meta-learners, are trained on the extracted features of the time series in order to assign the most suitable forecasting method for the various subsets of the pool of forecasters. Furthermore, two-dimensionality reduction methods are implemented in order to investigate the role of feature space dimension on the performance of meta-learners. In general, it was found that meta-learners were able to defeat all of the individual benchmark forecasters; this performance was improved even after applying the feature selection method.

연구 동기 및 목표

• 메타학습을 통한 시계열 예측에서 해결되지 않은 과제를 다루기 위해, 상위 예측기들 중 입력 선택, 오차 측정 기준 민감도, 특징 공간 차원 수를 포함한다.
• 다양한 예측 오차 측정 기준이 메타학습기 성능에 미치는 영향을 평가한다.
• 특징 공간의 차원 수 감소가 메타학습기가 최적의 예측 알고리즘을 선택하는 데 있어 정확도에 미치는 영향을 조사한다.
• 다양한 최첨단 알고리즘에서 최고의 예측 방법을 선택하는 강력한 메타학습 시스템을 개발한다.
• 여러 구성에서 메타학습기와 개별 예측기 간의 효과성을 실증적으로 입증한다.

제안 방법

• NN5 경진대회 데이터셋에 다양한 최첨단 예측 알고리즘을 적용하고, MAE와 RMSE 두 가지 오차 측정 기준을 사용해 순위를 매겼다.
• 각 시계열의 특성을 나타내기 위해 시계열 특징을 추출하여 메타학습기의 입력으로 사용하였다.
• 6개의 기계학습 분류기(메타학습기)를 훈련시켜 추출된 특징에 기반해 가장 성능이 좋은 예측 알고리즘을 예측하도록 하였다.
• 특징 공간 크기의 영향을 평가하기 위해 주성분 분석(PCA)과 특징 선택이라는 두 가지 차원 수축 기법을 적용하였다.
• 메타학습기의 성능을 평가하기 위해, 다양한 상위 예측 모델 세트에서 선택된 알고리즘을 개별 예측기들과 비교하였다.
• 오차 측정 기준과 특징 공간 축소가 모델 선택 정확도에 미치는 영향을 체계적으로 분석하였다.

실험 결과

연구 질문

• RQ1 예측 오차 측정 기준의 선택(MAE 대비 RMSE)이 메타학습기가 최적 알고리즘을 선택하는 데 미치는 영향은 무엇인가?
• RQ2 상위 예측기들의 다양한 부분집합을 메타학습기의 입력으로 사용할 경우의 영향은 무엇인가?
• RQ3 특징 공간의 차원 수를 감소시키는 것이 시계열 모델 선택에서 메타학습기의 정확도에 미치는 영향은 무엇인가?
• RQ4 메타학습기는 다양한 시계열 특성에 걸쳐 일관되게 개별 예측 알고리즘을 초월할 수 있는가?
• RQ5 특징 선택이 모델 선택에서 메타학습기의 일반화 능력과 정확도에 얼마나 기여하는가?

주요 결과

• 메타학습기는 NN5 데이터셋 전반에서 모든 개별 기준 예측기보다 최적의 예측 알고리즘 선택에서 일관되게 뛰어난 성능을 보였다.
• 특징 선택을 적용한 후 메타학습기의 성능이 더욱 향상되어, 축소된 특징 공간이 모델 선택 정확도를 높인다는 점을 시사한다.
• 오차 측정 기준의 선택(MAE 또는 RMSE)이 메타학습기 성능에 크게 영향을 미치며, RMSE는 모델 선택 결과에 더 민감한 것으로 나타났다.
• 차원 수축 기법, 특히 특징 선택을 통해 전체 특징 집합을 사용할 때보다 더 강력하고 정확한 메타학습기 예측이 가능했다.
• 모든 예측기들이 아닌 상위 예측기들의 신중히 선택된 부분집합을 기반으로 훈련한 메타학습기가 더 높은 정확도를 달성했으며, 이는 입력 선택의 중요성을 시사한다.
• 본 연구는 메타학습이 다양한 시계열에 대해 효과적으로 일반화될 수 있음을 보여주며, 개별 예측 모델에 비해 신뢰할 수 있는 대안이 될 수 있음을 입증한다.