[논문 리뷰] Multi-task learning of time series and its application to the travel demand

Boris Chidlovskii|arXiv (Cornell University)|2017. 12. 21.

Time Series Analysis and Forecasting참고 문헌 12인용 수 5

한 줄 요약

이 논문은 공공 교통 수요 예측에서 상호의존적인 시계열을 동시 예측하기 위한 다중 과제 학습 프레임워크를 제안한다. 정규화 기반 서포트 벡터 회귀를 사용하며, 유사한 시계열을 군집화하기 위한 동적 시간 왜곡(DTW)과 공통 잠재 표현을 추론하기 위한 연속 프로파일 모델(CPM)이라는 두 가지 정렬 전략을 적용한다. CPM 기반 접근법은 여러 시나리오에서 단일 과제 학습 대비 평균 제곱 오차(MSE)를 3%~12% 향상시켜 여행 수요 예측의 정확성과 강건성을 향상시킨다.

ABSTRACT

We address the problem of modeling and prediction of a set of temporal events in the context of intelligent transportation systems. To leverage the information shared by different events, we propose a multi-task learning framework. We develop a support vector regression model for joint learning of mutually dependent time series. It is the regularization-based multi-task learning previously developed for the classification case and extended to time series. We discuss the relatedness of observed time series and first deploy the dynamic time warping distance measure to identify groups of similar series. Then we take into account both time and scale warping and propose to align multiple time series by inferring their common latent representation. We test the proposed models on the problem of travel demand prediction in Nancy (France) public transport system and analyze the benefits of multi-task learning.

연구 동기 및 목표

• 지능형 교통 시스템에서 공공 교통 수요 예측을 위한 다수의 상호의존적 시계열을 예측하는 데 도전 과제를 해결한다.
• 관련된 시계열 간의 공유 정보를 활용하여 단일 과제 학습의 한계를 극복함으로써 예측 정확도를 향상시킨다.
• 시계열 회귀 작업에 적합한 정규화 기반 다중 과제 서포트 벡터 회귀 모델을 개발한다.
• 시계열의 시간 및 척도 왜곡 문제를 해결하기 위해 공통 잠재 표현을 도입하여 정렬을 수행한다.
• 프랑스 Nancy의 실세계 여행 수요 데이터를 바탕으로 제안된 방법을 평가하며, 기상, 일정, 교통 등의 외부 특징을 통합한다.

제안 방법

• 시계열 간 유사도를 측정하고 다중 과제 학습을 위한 관련 시계열을 군집화하기 위해 동적 시간 왜곡(DTW)을 사용한다.
• 모든 시계열 간 공통 잠재 표현을 추론하기 위해 연속 프로파일 모델(CPM)을 제안하며, Viterbi 유사 추론을 통해 정렬을 가능하게 한다.
• 관련 과제 간 모델 파라미터를 공유함으로써 일반화 능력을 향상시키기 위해 정규화 기반 다중 과제 학습을 서포트 벡터 회귀에 적용한다.
• 기상, 일정, 교통 등의 외부 특징을 예측 모델에 통합하여 예측 성능을 향상시킨다.
• 관측된 시계열을 추론된 공통 잠재 프로파일에 맞추기 위해 Viterbi 스타일 디코딩을 사용하여 시간 정렬을 개선한다.
• 시간대별 승하차 데이터(1시간 및 10분 간격)를 기반으로 모델을 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 단일 과제 학습 대비 다중 과제 학습이 공공 교통 수요 예측에서 시계열 예측 정확도를 향상시키는가?
• RQ2 이 맥락에서 다중 과제 학습을 위한 관련 시계열 군집화에 동적 시간 왜곡(DTW)이 얼마나 효과적인가?
• RQ3 공통 잠재 표현(CPM)을 추론함으로써 DTW 기반 군집화보다 더 나은 정렬 및 예측 성능을 달성하는가?
• RQ4 기상, 공휴일, 교통 상황 등의 외부 요인이 모델의 예측 성능에 미치는 영향은 어떠한가?
• RQ5 데이터 지연(예: 마지막 관측치 누락)이 단일 과제 모델 대비 다중 과제 학습 모델의 강건성에 어떤 영향을 미치는가?

주요 결과

• 연속 프로파일 모델(CPM) 기반 다중 과제 학습은 모든 실험에서 단일 과제 학습 대비 평균 제곱 오차(MSE)를 3%~12% 감소시킨다.
• DTW 기반 군집화 방법은 단일 과제 학습 대비 예측 정확도를 2%~7% 향상시키지만, 특히 데이터 지연 상황에서 CPM보다 낮은 강건성을 보인다.
• 1시간 간격 실험에서 CPM 기반 다중 과제 학습은 0지연 상황에서 단일 과제 학습 대비 3%~12% 더 높은 성능을 기록한다.
• 데이터 지연(1지연 상황)에서도 CPM 기반 다중 과제 학습은 단일 과제 학습 대비 3%~16% 더 높은 정확도를 유지한다.
• 기상, 일정, 교통 등의 외부 관측치를 통합함으로써, 이러한 특징이 없는 모델 대비 MSE가 40%~60% 감소한다.
• CPM 기반 방법은 정류장 수(2~20개)와 다양한 지연 조건(P=40% 및 90%)에서도 더 높은 안정성과 일관된 성능 향상을 보였다.