[논문 리뷰] Forecast Evaluation for Data Scientists: Common Pitfalls and Best Practices

Hansika Hewamalage, Klaus Ackermann외 1명|arXiv (Cornell University)|2022. 03. 21.

Forecasting Techniques and Applications인용 수 6

한 줄 요약

이 논문은 데이터 과학자들을 위한 예측 평가에 대한 종합적인 가이드를 제공하며, 시간 시계열에서 잘못된 데이터 분할, MAPE와 같은 오차 측도의 오용, 데이터 누출과 같은 일반적인 함정을 다룹니다. 이는 윤리적 검증, 적절한 오차 측도 선택, 다중 측도 평가를 포함한 최선의 실천 방안을 주장하여 기계학습 기반 예측에서 신뢰할 수 있고 의미 있는 모델 비교를 보장합니다.

ABSTRACT

Machine Learning (ML) and Deep Learning (DL) methods are increasingly replacing traditional methods in many domains involved with important decision making activities. DL techniques tailor-made for specific tasks such as image recognition, signal processing, or speech analysis are being introduced at a fast pace with many improvements. However, for the domain of forecasting, the current state in the ML community is perhaps where other domains such as Natural Language Processing and Computer Vision were at several years ago. The field of forecasting has mainly been fostered by statisticians/econometricians; consequently the related concepts are not the mainstream knowledge among general ML practitioners. The different non-stationarities associated with time series challenge the data-driven ML models. Nevertheless, recent trends in the domain have shown that with the availability of massive amounts of time series, ML techniques are quite competent in forecasting, when related pitfalls are properly handled. Therefore, in this work we provide a tutorial-like compilation of the details of one of the most important steps in the overall forecasting process, namely the evaluation. This way, we intend to impart the information of forecast evaluation to fit the context of ML, as means of bridging the knowledge gap between traditional methods of forecasting and state-of-the-art ML techniques. We elaborate on the different problematic characteristics of time series such as non-normalities and non-stationarities and how they are associated with common pitfalls in forecast evaluation. Best practices in forecast evaluation are outlined with respect to the different steps such as data partitioning, error calculation, statistical testing, and others. Further guidelines are also provided along selecting valid and suitable error measures depending on the specific characteristics of the dataset at hand.

연구 동기 및 목표

• 기계학습(ML) 기반 예측에서 전통적인 예측 방법과 현대적 ML 실천 간의 격차를 해소하기.
• 예측 평가에서 일반적인 함정—예: 잘못된 데이터 분할, 부적절한 오차 측도, 데이터 누출—이 모델 비교와 일반화를 약화시키는 방식을 규명하기.
• ML 전문가를 위한 체계적이고 교육적인 예측 평가 가이드를 제공하여 데이터 분할, 오차 계산, 통계적 검정, 측도 선택에 중점을 두기.
• 표준화되고 재현 가능하며 의미 있는 평가 실천 방안을 촉진하여 ML 기반 예측 모델의 신뢰성과 경쟁력을 향상시키기.

제안 방법

• 데이터 길이와 모델 유형에 따라 적절한 데이터 분할 전략(예: 롤링 오리진, 시계열 교차검증(tsCV))을 포함하는 예측 평가의 체계적 프레임워크 제안.
• 모델 성능 평가의 기준점으로서 나이브 및 계절적 나이브 예측과 같은 벤치마크 모델의 사용을 권장.
• 스케일, 비정규성, 비 stationary 성격과 같은 데이터 특성에 따라 오차 측도 선택을 위한 决책 가이드(표 1) 제시.
• MAE, RMSE, MASE 등의 다중 오차 측도를 사용하여 결과의 강건성과 타당성을 점검하고, 주요 평가 기준으로 하나를 지정함으로써 신뢰도를 높이기.
• 스무딩, 분해, 정규화 등의 전처리 단계에서 발생할 수 있는 데이터 누출을 방지하기 위한 중요성 강조.
• 모델 다양성과 데이터 가용성을 신중히 고려하여 모델 간 차이에 대한 통계적 검정을 효과적으로 수행함으로써 무의미한 결론을 피하기.

실험 결과

연구 질문

• RQ1 기계학습 전문가들이 시간 시계열 데이터를 다룰 때 가장 흔히 마주치는 예측 평가의 함정은 무엇인가요?
• RQ2 다양한 종류의 시간 시계열과 모델 아키텍처에 적합한 데이터 분할 전략(예: k-폴드 CV, tsCV, 롤링 오리진)은 무엇인가요?
• RQ3 스케일, 비정규성, 비 stationary 성격 등의 시간 시계열 특성에 따라 오차 측도는 어떻게 선택해야 할까요?
• RQ4 데이터 누출은 예측 평가에 어떤 방식으로 악영향을 미치며, 전처리 및 검증 단계에서 어떻게 방지할 수 있을까요?
• RQ5 모델 유사성 또는 데이터 부족으로 인한 편향이 발생하지 않도록, 모델 성능 비교에 효과적으로 통계적 검정을 활용하는 방법은 무엇인가요?

주요 결과

• 값이 [-1, 1] 범위에 있는 시간 시계열에 대해 MAPE를 사용하는 것은 근본적으로 잘못되었고 오해의 소지가 있습니다. 이러한 조건에서는 정의되지 않거나 불안정해집니다.
• 잔차가 순차 상관 검정(예: Ljung-Box)에 통과할 경우, 특히 짧은 시간 시계열에서 AR 기반 모델에 대해 k-폴드 교차검증은 tsCV의 유효하고 자원 효율적인 대안이 될 수 있습니다.
• RNN 및 ETS와 같은 연속 상태 동역학을 가진 모델의 경우, 시간 순서의 중요성을 감안할 때 시간 시계열 교차검증(tsCV)이 선호되는 검증 방법입니다.
• 모든 상황에서 최적의 오차 측도가 존재하지는 않습니다. 선택은 데이터 특성, 비즈니스 맥락, 스케일에 따라 결정되어야 하며, 예를 들어 가격/판매량과 같은 비즈니스 유용성과 일치할 경우 스케일 의존 측도가 유의미합니다.
• 다중 오차 측도를 사용하여 결과에 대한 신뢰도를 높일 수 있지만, 모델은 단일 주요 측도를 최적화하도록 설계되어야 하며, 그렇지 않으면 갈등하는 목표가 발생할 수 있습니다.
• 모델 간 차이에 대한 통계적 검정은 모델 다양성과 데이터 가용성을 균형 있게 고려하여 수행되어야 하며, 과적합이나 낮은 표본 크기로 인한 허구적 차이를 탐지하는 것을 방지해야 합니다.