[논문 리뷰] The Effectiveness of Discretization in Forecasting: An Empirical Study on Neural Time Series Models

Stephan Rabanser, Tim Januschowski외 3명|arXiv (Cornell University)|2020. 05. 20.

Time Series Analysis and Forecasting인용 수 17

한 줄 요약

이 논문은 실수값 시계열을 범주형 박스로 변환하는 데이터 이산화가 신경망 모델의 예측 성능에 미치는 영향을 조사한다. 이는 피드포워드, 순환, 그리고 컨volutional 아키텍처 전반에서 이산화가 일관되게 예측 정확도를 향상시킨다는 것을 발견한다. 이산화 자체의 영향이 이산화 방법의 선택보다 더 크다는 점이 확인된다.

ABSTRACT

Time series modeling techniques based on deep learning have seen many advancements in recent years, especially in data-abundant settings and with the central aim of learning global models that can extract patterns across multiple time series. While the crucial importance of appropriate data pre-processing and scaling has often been noted in prior work, most studies focus on improving model architectures. In this paper we empirically investigate the effect of data input and output transformations on the predictive performance of several neural forecasting architectures. In particular, we investigate the effectiveness of several forms of data binning, i.e. converting real-valued time series into categorical ones, when combined with feed-forward, recurrent neural networks, and convolution-based sequence models. In many non-forecasting applications where these models have been very successful, the model inputs and outputs are categorical (e.g. words from a fixed vocabulary in natural language processing applications or quantized pixel color intensities in computer vision). For forecasting applications, where the time series are typically real-valued, various ad-hoc data transformations have been proposed, but have not been systematically compared. To remedy this, we evaluate the forecasting accuracy of instances of the aforementioned model classes when combined with different types of data scaling and binning. We find that binning almost always improves performance (compared to using normalized real-valued inputs), but that the particular type of binning chosen is of lesser importance.

연구 동기 및 목표

• 신경 예측 모델 성능에 대한 입력 및 출력 데이터 변환(특히 이산화)의 영향을 체계적으로 평가하기 위해.
• 특히 데이터가 풍부하고 글로벌 모델링 설정에서 다양한 데이터 전처리 기법 간의 실증적 비교가 부족한 점을 보완하기 위해.
• 자주 NLP 및 컴퓨터 비전에서 사용되는 이산화가 실수값 시계열의 예측 정확도를 향상시키는지 확인하기 위해.
• 등간격, 등빈도, 분위수 기반 등 다양한 이산화 전략의 선택이 모델 성능에 상당한 영향을 미치는지 평가하기 위해.
• 입력 및 출력 변환이 신경 예측 모델의 아키텍처적 차이보다 성능에 더 큰 영향을 미칠 수 있는지 탐색하기 위해.

제안 방법

• 정규화, 표준화, 로그/박스-콕스 변환 및 다양한 이산화 전략(등간격, 등빈도, 분위수 기반)을 포함한 여러 입력 및 출력 변환 기법을 실증적으로 비교한다.
• 피드포워드 네트워크, 순환 신경망(RNNs), 1D 확장된 인과 컨volutional 네트워크를 포함한 다양한 신경 예측 아키텍처에 이러한 변환을 적용한다.
• 정확도 평가를 위해 확률적 예측 설정을 사용하며, 분위수 회귀, 혼합 밀도 네트워크, 이산화된 로지스틱 혼합 가능도를 출력 모델링에 활용한다.
• MASE, sMAPE, CRPS와 같은 표준 지표를 사용해 여러 공개 시계열 데이터셋에서 모델 성능을 평가한다.
• 전체 패널 전체의 공통 패턴과 개별 시계열의 고유 패턴을 모두 반영하기 위해 글로벌(패널 전체) 및 로컬(개별 시계열) 이산화를 조합한 하이브리드 이산화 전략을 구현한다.
• 모델 고유 최적화에서 변환의 영향을 분리하기 위해 광범위한 초모수 튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 실수값 시계열 입력의 이산화가 다양한 신경 아키텍처에서 예측 성능을 향상시키는가?
• RQ2 등간격, 등빈도, 분위수 기반 등 다양한 이산화 전략의 예측 정확도에서의 성능 비교는 어떻게 되는가?
• RQ3 입력 및 출력 변환이 모델 아키텍처의 차이보다 성능에 더 큰 영향을 미치는가?
• RQ4 글로벌 및 로컬 효과를 모두 조합한 하이브리드 이산화 전략이 순수하게 글로벌 또는 로컬 접근 방식보다 성능을 향상시키는가?
• RQ5 연속적인 거리와 순서 정보를 손실함에도 불구하고 이산화가 예측 유용성을 어느 정도 유지하는가?

주요 결과

• 피드포워드, RNN, 컨volutional 모델을 포함한 모든 테스트된 신경 아키텍처에서 입력 시계열의 이산화가 일관되게 예측 성능을 향상시킨다.
• 등간격, 등빈도, 분위수 기반 등 이산화 방법의 선택은 성능에 미치는 영향이 미미하여 다양한 이산화 방식에 대해 강건함을 시사한다.
• 입력 및 출력 변환이 모델 아키텍처 간의 차이보다 예측 성능에 더 큰 영향을 미치며, 이는 예측 파ip라인에서의 핵심적 역할을 의미한다.
• 범주형 분포가 연속적인 순서와 거리 정보를 무시하지만, 놀랍도록 잘 작동함을 확인하여 이산화가 정확한 예측을 위해 충분한 신호를 포착한다는 것을 시사한다.
• 글로벌 및 로컬 이산화를 조합한 하이브리드 이산화 전략은 공통 패턴과 개별 시계열의 특성을 모두 활용함으로써 잠재력을 보여준다.
• 이 연구는 이산화의 이점을 유지하면서 순서 및 거리 정보를 통합할 수 있는 방법(예: 이산화된 로지스틱 혼합 가능도)에 대한 향후 연구의 필요성을 강조한다.