[논문 리뷰] A Capsule Network for Traffic Speed Prediction in Complex Road Networks

Youngjoo Kim, Peng Wang외 2명|arXiv (Cornell University)|2018. 07. 23.

Traffic Prediction and Management Techniques인용 수 4

한 줄 요약

이 논문은 복잡한 도로 네트워크에서 교통 속도 예측을 위한 캡슐 네트워크 기반 딥러닝 모델을 제안하며, 전통적인 CNN의 맥스 풀링을 동적 라우팅으로 대체하여 시공간 교통 데이터 내의 시공간 관계를 유지한다. 스페인 산탄데르에서 수집한 실세계 데이터를 대상으로 평가한 결과, 최신 기술 기반의 CNN 기반 접근법 대비 루트 평균 제곱 오차(RMSE)를 13.1% 감소시켰다.

ABSTRACT

This paper proposes a deep learning approach for traffic flow prediction in complex road networks. Traffic flow data from induction loop sensors are essentially a time series, which is also spatially related to traffic in different road segments. The spatio-temporal traffic data can be converted into an image where the traffic data are expressed in a 3D space with respect to space and time axes. Although convolutional neural networks (CNNs) have been showing surprising performance in understanding images, they have a major drawback. In the max pooling operation, CNNs are losing important information by locally taking the highest activation values. The inter-relationship in traffic data measured by sparsely located sensors in different time intervals should not be neglected in order to obtain accurate predictions. Thus, we propose a neural network with capsules that replaces max pooling by dynamic routing. This is the first approach that employs the capsule network on a time series forecasting problem, to our best knowledge. Moreover, an experiment on real traffic speed data measured in the Santander city of Spain demonstrates the proposed method outperforms the state-of-the-art method based on a CNN by 13.1% in terms of root mean squared error.

연구 동기 및 목표

• 최근의 컨볼루션 신경망(CNN)이 맥스 풀링 연산으로 인해 교통 데이터 내의 상호관계를 유지하지 못하는 데 기인한 한계를 해결하기 위해.
• 원래 컴퓨터 비전을 위해 설계된 캡슐 네트워크를 시간 시리즈 예측 문제, 특히 교통 시스템에 적용해 볼 수 있는지 탐색하기 위해.
• 희소하게 분포된 유도 루프 센서에서 수집한 교통 속도 데이터의 시공간 의존성을 더 효과적으로 모델링하기 위해.
• 교통 패턴의 계층적 관계를 포착함으로써 복잡한 도로 네트워크에서의 예측 정확도를 향상시키기 위해.
• 실세계 데이터를 사용하여 캡슐 네트워크가 CNN보다 교통 속도 예측에서 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 시공간 교통 속도 데이터를 시공간 차원을 가진 3차원 표현으로 변환하여 딥러닝 처리를 위해 이미지처럼 취급한다.
• 전통적인 CNN의 맥스 풀링을 캡슐 네트워크의 동적 라우팅으로 대체하여 공간 관계와 특징 계층을 유지한다.
• 캡슐을 사용해 교통 패턴의 포즈 파라미터(예: 위치, 척도)를 인코딩하여 도로 구간 간의 공간적 의존성을 인식할 수 있도록 한다.
• 반복적인 동적 라우팅을 통해 캡슐 간 연결 강도를 결정함으로써, 교통 특징 간 의미 있는 관계를 학습할 수 있도록 한다.
• 실제 교통 속도 데이터를 기반으로 캡슐 네트워크를 엔드 투 엔드로 훈련하여 다양한 도로 구간의 향후 속도를 예측한다.
• 성능 평가를 위해 스페인 산탄데르의 실세계 데이터셋을 사용하여 CNN 기반 기준 모델과의 성능를 비교한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크가 시공간 관계를 유지함으로써 교통 속도 예측에서 기존의 컨볼루션 신경망(CNN)을 능가할 수 있는가?
• RQ2 희소하게 위치한 센서에서 수집한 교통 데이터 간의 상호관계를 모델링하는 데 동적 라우팅은 얼마나 효과적인가?
• RQ3 맥스 풀링을 캡슐 기반 라우팅으로 대체함으로써 복잡한 도로 네트워크에서 예측 정확도는 어느 정도 향상되는가?
• RQ4 캡슐 네트워크 아키텍처는 교통 시스템의 시간 시리즈 예측 작업에 적합한가?
• RQ5 실세계 교통 데이터에서 최신 기술 기반의 CNN 기반 접근법과 비교할 때, 제안된 방법의 루트 평균 제곱 오차(RMSE)는 어느 정도인가?

주요 결과

• 제안된 캡슐 네트워크는 스페인 산탄데르에서 수집한 실세계 교통 속도 데이터에서 최신 기술 기반 CNN 기반 방법 대비 루트 평균 제곱 오차(RMSE)를 13.1% 낮춘다.
• 동적 라우팅 덕분에 장거리 의존성과 공간 관계를 더 잘 포착하는 데 뛰어난 성능을 보인다.
• 캡슐을 사용함으로써 표준 CNN의 맥스 풀링 연산에서 손실되는 특징 계층과 공간 관계를 효과적으로 유지한다.
• 이 방법은 캡슐 네트워크를 시간 시리즈 예측, 특히 교통 속도 예측에 적용한 최초의 알려진 사례이다.
• 결과는 동적 라우팅이 시공간 교통 데이터의 특징 표현 학습을 향상시켜 더 정확한 예측을 가능하게 함을 확인한다.
• 희소 센서 데이터 조건에서도 높은 성능를 유지함으로써 실세계 구현 환경에서의 강건성을 보여준다.