[논문 리뷰] A Unified Framework for Long Range and Cold Start Forecasting of Seasonal Profiles in Time Series

Christopher Xie, Alex Tank외 2명|arXiv (Cornell University)|2017. 10. 23.

Time Series Analysis and Forecasting참고 문헌 2인용 수 8

한 줄 요약

이 논문은 계절성 시간 시리즈 프로파일의 장기 예측 및 콜드/워밍스타트 예측을 위한 통합 프레임워크를 제안한다. 행렬 분해와 구조화된 데이터 행렬에서의 고차원 회귀를 활용한다. 교차 시리즈 시간 패턴과 메타데이터를 활용하여 역사적 데이터가 극히 적은 경우에도 정확한 예측을 달성하며, 실제 데이터셋에서 전통적 방법보다 콜드스타트 및 장기 예측 설정 모두에서 뛰어난 성능을 보인다.

ABSTRACT

Providing long-range forecasts is a fundamental challenge in time series modeling, which is only compounded by the challenge of having to form such forecasts when a time series has never previously been observed. The latter challenge is the time series version of the cold-start problem seen in recommender systems which, to our knowledge, has not been addressed in previous work. A similar problem occurs when a long range forecast is required after only observing a small number of time points --- a warm start forecast. With these aims in mind, we focus on forecasting seasonal profiles---or baseline demand---for periods on the order of a year in three cases: the long range case with multiple previously observed seasonal profiles, the cold start case with no previous observed seasonal profiles, and the warm start case with only a single partially observed profile. Classical time series approaches that perform iterated step-ahead forecasts based on previous observations struggle to provide accurate long range predictions; in settings with little to no observed data, such approaches are simply not applicable. Instead, we present a straightforward framework which combines ideas from high-dimensional regression and matrix factorization on a carefully constructed data matrix. Key to our formulation and resulting performance is leveraging (1) repeated patterns over fixed periods of time and across series, and (2) metadata associated with the individual series; without this additional data, the cold-start/warm-start problems are nearly impossible to solve. We demonstrate that our framework can accurately forecast an array of seasonal profiles on multiple large scale datasets.

연구 동기 및 목표

• 기본적으로 역사적 데이터가 부족하거나 존재하지 않는 경우(콜드스타트) 또는 제한된 경우(워밍스타트)에 장기 예측 문제를 해결하는 것.
• 공유되는 계절성 패턴을 가진 다수의 시간 시리즈에 대해 장기 예측을 처리할 수 있는 확장성 있고 통합된 프레임워크를 개발하는 것.
• 메타데이터와 반복되는 시간적 구조를 활용하여 데이터가 부족한 상황에서 예측 정확도를 향상시키는 것.
• 장기 예측에서 반복적 단계별 예측의 오차 누적 문제를 해결하는 것.

제안 방법

• 행렬의 행은 시간 시리즈를, 열은 시간 포인트를 나타내는 데이터 행렬을 구성하며, 시리즈 간 및 연도 간 계절 패턴이 정렬되어 있다.
• 시간 시리즈 간 공유되는 계절 프로파일을 나타내는 저랭크 잠재 성분을 추출하기 위해 행렬 분해를 적용한다.
• 메타데이터(예: 텍스트 기술서에서의 TF-IDF 벡터)를 보조 정보로 통합하여 분해 과정을 정규화하고 이입한다.
• 메타데이터에서 계절 프로파일로의 매핑을 학습함으로써 콜드스타트 예측을 가능하게 하는 고차원 회귀를 사용한다.
• 저랭크 행렬 근사와 메타데이터 기반 회귀를 조합한 정규화된 최적화 목표로 문제를 공식화한다.
• 정규화 및 커널 노드를 위한 하이퍼파ram터 튜닝을 수행하며, 교차 검증과 함께 확률적 경사 하강법을 사용해 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 기본적으로 몇 개의 역사를 가진 경우에 통합 프레임워크가 장기 예측 기간 동안 계절적 프로파일을 효과적으로 예측할 수 있는가?
• RQ2 메타데이터를 통합함으로써 콜드스타트 및 웜스타트 상황에서의 예측 성능이 어떻게 향상되는가?
• RQ3 교차 시리즈 시간 패턴을 활용함으로써 기존 단계별 모델 대비 장기 예측 정확도가 얼마나 향상되는가?
• RQ4 다양한 정규화 전략과 모델 아키텍처가 희소하고 고차원적 시간 시리즈 데이터에서 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 역사적 자료가 극히 부족한 콜드스타트 및 웜스타트 조건에서 전통적인 자기회귀 및 행렬 분해 기반 베이스라인보다 뚜렷이 뛰어난 성능을 보인다.
• 메타데이터를 통합함으로써 이전에 관측된 계절적 프로파일이 전혀 없더라도 정확한 예측이 가능해져 계절성 시간 시리즈의 콜드스타트 문제를 해결한다.
• Google 플루 트렌드(500개 이상의 시간 시리즈)와 위키백과 페이지 트래픽(4,031개 기사)이라는 두 개의 대규모 데이터셋에서 강력한 성능을 달성하였으며, 기존 베이스라인 대비 평균 절대 오차가 최대 30% 감소하였다.
• 메타데이터 정규화가 적용된 신경망 및 기능적 회귀 모델은 특히 데이터가 적은 환경에서 뛰어난 일반화 성능을 보였다.
• 희소성 수준이 다양한 상황에서도 프레임워크의 성능은 안정적이며, 부분적으로 관측된 계절적 프로파일이 하나뿐인 경우에도 정확도 저하가 최소한이었다.
• 교차 검증 및 검증 세트를 통한 하이퍼파ram터 튜닝은 특히 희소한 데이터 행렬을 가진 고차원 설정에서 일관된 성능 향상을 이끌어냈다.