[논문 리뷰] FMA-ETA: Estimating Travel Time Entirely Based on FFN With Attention

Yiwen Sun, Yulu Wang외 5명|arXiv (Cornell University)|2020. 06. 07.

Traffic Prediction and Management Techniques참고 문헌 27인용 수 4

한 줄 요약

FMA-ETA는 순환 구조 없이 완전히 피드포워드 네트워크(FFN) 기반의 새로운 프레임워크를 제안하며, 이는 이동 시간 예측을 위해 다중 요인 자기주의(self-attention) 메커니즘을 도입하여 추론 속도에서 RNN 기반 모델인 WDR을 크게 앞서면서도 최신 기술 수준의 정확도를 달성한다. 이는 순환 구조 없이 다중 요인 순서 의존성을 효과적으로 모델링함으로써 실시간 예측을 빠르고 정확하게 수행할 수 있도록 한다.

ABSTRACT

Estimated time of arrival (ETA) is one of the most important services in intelligent transportation systems and becomes a challenging spatial-temporal (ST) data mining task in recent years. Nowadays, deep learning based methods, specifically recurrent neural networks (RNN) based ones are adapted to model the ST patterns from massive data for ETA and become the state-of-the-art. However, RNN is suffering from slow training and inference speed, as its structure is unfriendly to parallel computing. To solve this problem, we propose a novel, brief and effective framework mainly based on feed-forward network (FFN) for ETA, FFN with Multi-factor self-Attention (FMA-ETA). The novel Multi-factor self-attention mechanism is proposed to deal with different category features and aggregate the information purposefully. Extensive experimental results on the real-world vehicle travel dataset show FMA-ETA is competitive with state-of-the-art methods in terms of the prediction accuracy with significantly better inference speed.

연구 동기 및 목표

• 실시간 이동 시간 예측에서 RNN 기반 모델의 느린 추론 속도 문제를 해결하기 위해, 특히 대규모 승차공유 플랫폼에서의 적용을 고려한다.
• 피드포워드 네트워크(FFN) 아키텍처가 순환 구조 없이도 순차적 이동 데이터의 복잡한 공간-시간 의존성을 효과적으로 포착할 수 있는지 탐색한다.
• NLP에서 사용되는 표준 다중 헤드 자기주의를 넘어서, ETA에 적합한 다중 요인 순차 입력을 위한 새로운 자기주의 메커니즘을 설계한다.
• 최신 기술 수준의 RNN 기반 방법과 비교해 추론 속도를 크게 향상시키면서도 경쟁 가능한 예측 정확도를 달성한다.
• 주요 승차공유 플랫폼에서 확보한 5억 건이 넘는 궤적을 포함한 대규모 실세계 데이터셋을 기반으로 프레임워크를 검증한다.

제안 방법

• LSTM와 같은 순환 구조를 사용하지 않고 완전히 피드포워드 네트워크(FFN)에 의존하는 ETA 예측을 위한 딥러닝 프레임워크인 FMA-ETA를 제안한다.
• 다양한 유형의 입력 특징(예: 시간, 위치, 교통 상황 등)을 별도로 주시함으로써 이질적인 의존성을 더 잘 모델링할 수 있도록 하는 새로운 다중 요인 자기주의 메커니즘을 도입한다.
• 순서의 순서를 유지하기 위해 학습 가능한 위치 인코딩을 적용하여, 순환 구조를 대체로 병렬 처리 가능한 자기주의 계산을 구현한다.
• 잔차 연결을 활용한 다중 스케일 피드포워드 블록을 적용하여 표현 능력을 향상시키면서도 학습 안정성을 유지한다.
• 일반화성과 강인성을 향상시키기 위해 이동 시간과 관련된 경로 특징을 동시에 예측하는 다중 작업 학습 목표를 도입한다.
• 표준 최적화 기법을 사용하여 주요 승차공유 플랫폼의 대규모 실세계 궤적 데이터셋에서 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 순환 구조 없이도 최신 기술 수준의 RNN 기반 모델과 비교해 경쟁 가능한 이동 시간 예측 정확도를 달성할 수 있는가?
• RQ2 특정한 다중 요인 순차 입력에 최적화된 커스터마이즈된 다중 요인 자기주의 메커니즘이, NLP에서 널리 사용되는 표준 다중 헤드 자기주의보다 더 나은 성능을 보일 수 있는가?
• RQ3 RNN 기반 모델과 비교해 예측 정확도를 유지하면서도 추론 속도를 크게 향상시킬 수 있는가?
• RQ4 특히 실세계 승차공유 데이터에서 흔히 볼 수 있는 긴 순서 길이에 대해 제안된 프레임워크는 어떻게 성능을 내는가?
• RQ5 다중 이질적 요인에 영향을 받는 다른 순차 학습 과제에 대해서도 다중 요인 자기주의 메커니즘이 일반화 가능한가?

주요 결과

• FMA-ETA는 최신 기술 수준의 RNN 기반 모델인 WDR과 유사한 예측 정확도를 달성하며, MAE 및 MAPE 지표에서 略적으로 더 우수한 성능을 보였다.
• FMA-ETA는 특히 긴 순서 길이에서 WDR보다 뚜렷한 추론 속도 우위를 보였으며, 순서 길이가 180단위를 초과할 경우 그 우위가 더욱 두드러졌다.
• 이동 시간 예측 맥락에서 제안된 다중 요인 자기주의 메커니즘이 표준 다중 헤드 자기주의보다 뛰어난 성능을 보였다.
• 실세계 데이터셋(5억 건 이상의 궤적 포함)을 기반으로 한 검증을 통해 다양한 도로 유형과 교통 조건에서도 높은 정확도를 유지하였다.
• FMA-ETA는 더 빠른 실시간 추론을 가능하게 하여, 생산 수준의 승차공유 및 내비게이션 시스템에 더 적합한 솔루션이 되었다.
• RNN과 달리 장거리 의존성에 강건하며, 순서 길이 증가에 따라 효율적으로 확장되는 등 스케일링 성능이 뛰어나다.