[논문 리뷰] Neural Network Multitask Learning for Traffic Flow Forecasting

Feng Jin, Shiliang Sun|arXiv (Cornell University)|2017. 12. 24.

Traffic Prediction and Management Techniques참고 문헌 7인용 수 4

한 줄 요약

이 논문은 다중시간 예측을 함께 훈련시켜 일반화 능력을 향상시키기 위해 교차 시간 포인트 간 상관관계가 있는 교통 흐름 데이터를 보조 과제로 활용하는 다중임무 학습(MTL) 백프로파게이션 신경망을 제안한다. 단일임무 학습(SLT) 대비 평균 9.31%의 예측 오차 감소를 기록하며, 도시 교통 예측에서 뛰어난 정확성과 강건성을 입증한다.

ABSTRACT

Traditional neural network approaches for traffic flow forecasting are usually single task learning (STL) models, which do not take advantage of the information provided by related tasks. In contrast to STL, multitask learning (MTL) has the potential to improve generalization by transferring information in training signals of extra tasks. In this paper, MTL based neural networks are used for traffic flow forecasting. For neural network MTL, a backpropagation (BP) network is constructed by incorporating traffic flows at several contiguous time instants into an output layer. Nodes in the output layer can be seen as outputs of different but closely related STL tasks. Comprehensive experiments on urban vehicular traffic flow data and comparisons with STL show that MTL in BP neural networks is a promising and effective approach for traffic flow forecasting.

연구 동기 및 목표

• 단일임무 학습(STL)이 관련 과제에서 유용한 정보를 간과하는 한계를 해결하기 위해.
• 신경망 기반 교통 흐름 예측에서 다중임무 학습(MTL)이 일반화 능력과 예측 정확도를 향상시킬 수 있는지 조사하기 위해.
• 공유된 은닉 표현을 사용해 향후 여러 시간 단위의 교통 흐름을 동시에 예측하는 신경망 MTL 프레임워크를 개발하고 평가하기 위해.
• 실제 도시 교통 흐름 데이터를 사용해 MTL 기반 신경망의 성능을 전통적인 STL 모델과 비교하기 위해.

제안 방법

• 각 출력이 서로 다른 미래 시간 단위 예측에 해당하는 다중출력 백프로파게이션(BP) 신경망을 설계하여, 다수의 관련 과제를 동시에 효과적으로 모델링한다.
• 모든 시간 단위 예측 간 은닉층을 공유함으로써 공통 표현을 통해 과제 간 지식 전이를 가능하게 한다.
• 접근한 시간 단위의 흐름에서 유도된 훈련 신호를 보조 과제로 활용하여, 주요 예측 과제의 일반화 능력을 향상시키는 인도적 편향(inductive bias)을 제공한다.
• 수렴을 보장하기 위해 훈련 오차의 목표값을 0.006으로 고정하고 최대 300 에포크 동안 훈련을 수행한다.
• 예측 성능를 비교하기 위해 주로 루트 평균 제곱 오차(RMSE)를 평가 지표로 사용한다.
• 실제 도시 교통 흐름 데이터를 사용해 실험을 수행하였으며, 훈련에는 22일, 테스트에는 마지막 3일을 사용하였다.

실험 결과

연구 질문

• RQ1 다중임무 학습(MTL)이 단일임무 학습(SLT) 대비 신경망의 일반화 성능을 교통 흐름 예측에서 향상시킬 수 있는가?
• RQ2 다양한 시간 단위 예측을 함께 훈련시키는 것이 예측 정확도와 모델 강건성에 어떤 영향을 미치는가?
• RQ3 접근한 시간 포인트의 상관관계가 있는 교통 흐름 데이터를 보조 과제로 사용할 경우, 성능 향상 정도는 어느 정도인가?
• RQ4 다양한 도시 도로 링크에서 MTL 접근 방식이 STL 대비 예측 오차를 감소시키는가?

주요 결과

• B_b 도로 링크에서 MTL 신경망은 STL 대비 9.31%의 예측 정확도 향상을 기록하였으며, RMSE는 77.46에서 70.25로 감소하였다.
• 시험한 6개의 도로 링크 전반에서 MTL은 STL 대비 RMSE를 일관되게 감소시켰으며, 향상률은 2.34%에서 9.31% 사이였다.
• MTL 네트워크의 훈련 오차는 약 125 에포크 후 안정화되어, 선택된 초모수로 효과적인 수렴이 이루어졌음을 시사한다.
• MTL 모델은 관련 시간 단위 예측에서 유도된 인도적 편향을 활용하여 더 나은 일반화 능력을 보였으며, 이는 더 정확한 예측을 이끌었다.
• 모든 테스트 링크에서 성능 향상은 통계적으로 유의미했으며, 이는 MTL이 시계열 교통 흐름 예측에서 효과적인 방법임을 확인한다.
• 결과는 MTL이 조기이고 더 정확한 혼잡도 예측을 가능하게 하여 지능형 교통 시스템(ITS)의 성능 향상에 유망한 접근법임을 시사한다.