[논문 리뷰] DeepTrend: A Deep Hierarchical Neural Network for Traffic Flow Prediction

Xingyuan Dai, Rui Fu외 3명|arXiv (Cornell University)|2017. 07. 11.

Traffic Prediction and Management Techniques참고 문헌 11인용 수 46

한 줄 요약

DeepTrend는 두 계층 아키텍처를 통해 잔차에서 시간에 따라 변하는 교통 흐름 추세를 명시적으로 모델링하는 깊이 있는 계층적 신경망을 제안한다: 추세 학습을 위한 추출 계층과 LSTM 기반 예측 계층. 표준 LSTM 및 탈추세 기반 모델보다 뛰어난 성능을 보이며, 5분 예측의 MSE는 984.47, MAE는 21.21을 기록하여 교통 흐름의 시간 패턴을 보다 효과적으로 포착함을 입증한다.

ABSTRACT

In this paper, we consider the temporal pattern in traffic flow time series, and implement a deep learning model for traffic flow prediction. Detrending based methods decompose original flow series into trend and residual series, in which trend describes the fixed temporal pattern in traffic flow and residual series is used for prediction. Inspired by the detrending method, we propose DeepTrend, a deep hierarchical neural network used for traffic flow prediction which considers and extracts the time-variant trend. DeepTrend has two stacked layers: extraction layer and prediction layer. Extraction layer, a fully connected layer, is used to extract the time-variant trend in traffic flow by feeding the original flow series concatenated with corresponding simple average trend series. Prediction layer, an LSTM layer, is used to make flow prediction by feeding the obtained trend from the output of extraction layer and calculated residual series. To make the model more effective, DeepTrend needs first pre-trained layer-by-layer and then fine-tuned in the entire network. Experiments show that DeepTrend can noticeably boost the prediction performance compared with some traditional prediction models and LSTM with detrending based methods.

연구 동기 및 목표

• 표준 LSTM가 교통 흐름 시계열 내 임베디드된 시간 패턴을 포착하는 데에 한계가 있음을 해결하기 위해.
• 교통 흐름 데이터의 시간에 따라 변하는 추세를 명시적으로 모델링하고 학습시켜 예측 정확도를 향상시키기 위해.
• 추세 추출과 흐름 예측을 분리함으로써 성능 향상을 도모하는 깊이 있는 계층적 아키텍처를 설계하기 위해.
• 사전 훈련 및 미세조정이 교통 흐름 예측에서 모델의 일반화 능력을 향상시킨다는 것을 검증하기 위해.
• 시간에 따라 변하는 추세 모델링을 통합할 경우, 원시 데이터나 기본적인 탈추세 방법보다 성능 향상이 뚜렷하게 이루어지는지 입증하기 위해.

제안 방법

• 모델은 두 계층 아키텍처를 사용한다: 원시 흐름과 단순 평균 추세 시계열을 연결하여 시간에 따라 변하는 추세를 학습하는 완전 연결 추출 계층.
• 예측 계층은 128개의 유닛을 가진 LSTM 네트워크로, 추출된 추세와 잔차 시계열을 입력으로 받아 향후 교통 흐름을 예측한다.
• 네트워크는 두 단계로 훈련된다: 먼저 자동에코더 유사 목적함수를 사용해 추출 계층을 단계별로 사전 훈련하고, 이후 전체 네트워크를 엔드 투 엔드로 미세조정한다.
• 잔차 시계열은 원시 흐름과 추출된 추세의 차이로 계산되며, 추세 출력과 함께 예측 계층에 함께 입력된다.
• 모든 계층에서 ReLU 활성화 함수를 사용하고, Adam 최적화를 적용하며, 학습률은 사전 훈련 시 0.001과 0.005, 미세조정 시 0.00002를 사용한다.
• 아키텍처는 텐서플로우 백엔드를 사용한 케라스로 구현되었으며, ARIMA, MVLR, SVR, RF 및 표준 LSTM 모델과 비교되었다.

실험 결과

연구 질문

• RQ1 원시 교통 흐름 시계열에서 명시적인 추세 모델링 없이도 LSTM과 같은 깊이 신경망이 시간 패턴을 효과적으로 학습할 수 있는가?
• RQ2 전용 추세 추출 모듈을 통합할 경우, 원시 데이터에 기반한 표준 LSTM보다 예측 성능 향상이 이루어지는가?
• RQ3 추세 학습과 흐름 예측을 분리하는 계층적 딥러닝 아키텍처는 탈추세 기반 기준 모델과 비교해 어떻게 성능을 냈는가?
• RQ4 사전 훈련 및 미세조정이 깊이 있는 교통 흐름 예측 모델의 성능 향상에 얼마나 기여하는가?
• RQ5 시간에 따라 변하는 추세를 모델링할 경우, 단기 교통 흐름 예측에서 MSE 및 MAE 지표에 상당한 향상이 이루어지는가?

주요 결과

• 표준 LSTM는 원시 교통 흐름 데이터에 대해 훈련되었을 때, SVR와 같은 전통적 모델과 유사한 성능을 보이며, 사전 분해 없이도 주요 시간 패턴을 포착하지 못함을 시사한다.
• 탈추세 기반 모델은 원시 데이터에 기반한 모델보다 뚜렷이 뛰어난 성능을 보이며, 교통 흐름 예측에서 추세 분리의 중요성을 확인한다.
• DeepTrend는 5분 예측 MSE가 984.47, MAE가 21.21로 평가된 모든 모델 중에서 가장 낮은 수치를 기록한다.
• 누적분포함수(CDF) 분석 결과, MSE 및 MAE 모두 50개의 테스트 정류장에서 DeepTrend가 다른 모든 모델보다 뛰어난 성능을 보였다.
• 사전 훈련 후 미세조정을 거치는 두 단계 훈련 방식이 효과적인 특징 학습과 일반화 능력 향상에 필수적임을 입증했다.
• 전용 추출 계층을 통한 시간에 따라 변하는 추세 학습 통합은 표준 LSTM 및 탈추세 기반 접근 방식보다 측정 가능한 성능 향상을 이끌어냈다.