[논문 리뷰] Traffic flow prediction using Deep Sedenion Networks

Alabi Bojesomo, Panos Liatsis외 1명|arXiv (Cornell University)|2020. 12. 07.

Traffic Prediction and Management Techniques참고 문헌 11인용 수 5

한 줄 요약

이 논문은 교통 흐름 예측을 위한 새로운 딥 세덴온 U-넷 아키텍처를 제안하며, 16차원 세덴온 수를 활용하여 정적 도시 특징과 12개의 동적 교통 프레임(5분 간격)을 통합된 다중모odal 표현으로 함께 인코딩한다. 모델은 Traffic4cast2020 챌린지에서 테스트 MSE 1.31e-3을 기록하여, 향후 6개의 시간 간격(5–60분) 동안 속도와 차량 수를 예측하는 데 있어 파rameter 효율성과 뛰어난 성능을 입증한다.

ABSTRACT

In this paper, we present our solution to the Traffic4cast2020 traffic prediction challenge. In this competition, participants are to predict future traffic parameters (speed and volume) in three different cities: Berlin, Istanbul and Moscow. The information provided includes nine channels where the first eight represent the speed and volume for four different direction of traffic (NE, NW, SE and SW), while the last channel is used to indicate presence of traffic incidents. The expected output should have the first 8 channels of the input at six future timing intervals (5, 10, 15, 30, 45, and 60min), while a one hour duration of past traffic data, in 5mins intervals, are provided as input. We solve the problem using a novel sedenion U-Net neural network. Sedenion networks provide the means for efficient encoding of correlated multimodal datasets. We use 12 of the 15 sedenion imaginary parts for the dynamic inputs and the real sedenion component is used for the static input. The sedenion output of the network is used to represent the multimodal traffic predictions. Proposed system achieved a validation MSE of 1.33e-3 and a test MSE of 1.31e-3.

연구 동기 및 목표

• 정적 도시 특징과 동적 교통 시퀀스를 하나의 표현으로 통합하여 교통 데이터의 다중모달성에 대응한다.
• 세 도시(베를린, 이斯坦불, 모스크바)에서 향후 여러 시간 간격(5–60분) 동안 교통 속도와 차량 수의 예측 정확도를 향상시킨다.
• 세덴온 기반의 컨볼루션 레이어를 통해 파rameter 수를 줄이면서도 표현 능력을 유지함으로써 모델의 파라미터 효율성을 높인다.
• 고해상도 교통 지ap 세그멘테이션 작업에 특화된 파라미터 효율적이고 종단 간(end-to-end) 딥 러닝 프레임워크를 개발한다.
• 초기 융합(fusion) 방식을 통해 초복소수 대수를 활용한 동적 및 정적 모달리티의 융합이 U-넷 아키텍처에서 효과적인가를 입증한다.

제안 방법

• 입력 데이터를 16성분의 세덴온 수로 표현: 실수부는 정적 도시 특징(7채널 입력)을, 허수부 12개는 동적 교통 속도 및 차량 수의 과거 12개 시간 간격을 인코딩한다(9채널 입력).
• 각 가중치 성분을 16번 재사용하여 파rameter를 줄이면서도 전체 특징 상호작용을 유지하는 커스터마이즈된 세덴온 컨볼루션 레이어를 사용한다.
• 에코더, 블로킹, 디코더 블록을 포함한 U-넷 유사 아키텍처를 구현하며, 초기 특징 프로젝션 레이어를 제외한 모든 컨볼루션 레이어는 세덴온 기반이다.
• 모든 세덴온 컨볼루션 후 배치 정규화와 ReLU 활성화 함수를 적용하고, 에코더에서 디코더로의 스킵 커넥션을 통해 특징 복구를 도모한다.
• 최종 세덴온 출력의 특정 성분을 선택하여 향후 원하는 시간 간격(5, 10, ..., 60분)에 해당하는 예측을 추출한다.
• Adam 옵tim자와 함께 평균 제곱 오차(MSE) 손실을 사용하여 학습을 수행하며, 초기 학습률을 1e-4로 설정하고 검증 손실의 정체 시 1e-6로 감소시킨다.

실험 결과

연구 질문

• RQ1 세덴온 기반 초복소수 네트워크가 다중모달 교통 데이터(동적 속도/차량 수 및 정적 도시 특징) 간의 상관관계를 효과적으로 모델링하여 예측 성능을 향상시킬 수 있는가?
• RQ2 세덴온 표현을 통한 동적 및 정적 입력의 초기 융합 방식이, 후기 융합 또는 표준 컨볼루션 네트워크보다 교통 예측에서 우월한 성능을 내는가?
• RQ3 16차원 세덴온 컨볼루션의 사용이 예측 성능을 저하시키지 않으면서도 모델 파라미터 수를 얼마나 줄일 수 있는가?
• RQ4 다양한 도시 환경(베를린, 이斯坦불, 모스크바)에서 교통 패턴이 상이한 지역에 대해 제안된 아키텍처의 일반화 능력은 어느 정도인가?
• RQ5 출력 구조상의 특성 덕분에 아키텍처 수정 없이도 다수의 향후 시간 간격을 예측할 수 있는가?

주요 결과

• 제안된 딥 세덴온 U-넷은 Traffic4cast2020 테스트 세트에서 검증 MSE 1.33893e-3, 테스트 MSE 1.30845e-3를 기록하여 강력한 일반화 능력을 입증했다.
• 세덴온 가중치 성분의 16개 출력 차원에 걸쳐 재사용되는 방식 덕분에 파라미터 효율성이 뛰어나, 학습 가능한 파라미터 수가 감소했다.
• 세덴온 표현을 통한 초기 융합 방식 덕분에 동적 교통 시퀀스와 정적 도시 특징을 효과적으로 통합 모델링할 수 있었으며, 이는 예측 정확도 향상에 기여했다.
• 16성분 출력을 통해 자연스럽게 다중 시간 간격 예측이 가능하여, 최대 12개의 향후 시간 간격에 대한 예측을 직접 추출할 수 있었다.
• 제한된 컴퓨팅 자원을 가진 단일 GPU(RTX 2080 Ti)에서 학습되었음에도 불구하고, 하이퍼파ram터 서치에 제약이 있었음에도 불구하고 경쟁 가능한 성능을 달성했다.
• 모든 세 도시(베를린, 이斯坦불, 모스크바)에서 성능이 안정적으로 유지되어, 도시 구조나 교통 패턴의 다양성에 대해 강건함을 입증했다.