[논문 리뷰] Learning to Transfer for Traffic Forecasting via Multi-task Learning

Yichao Lu|arXiv (Cornell University)|2021. 11. 27.

Traffic Prediction and Management Techniques참고 문헌 51인용 수 4

한 줄 요약

이 논문은 여러 도시와 시간대에서 수집된 데이터를 동시에 학습시키는 다중 작업 학습 프레임워크를 제안하여, 교통 예측에서 시간적 및 시공간적 도메인 이동에 적응할 수 있도록 하는 딥러닝 모델을 개발한다. U-Net 아키텍처를 사용하며, 2019년과 2020년의 다양한 도시 데이터를 함께 학습시킨다. 이 방법은 NeurIPS 2021 Traffic4cast 경쟁에서 확장 경쟁 부문에서 2위를 기록했으며, 계산 비용을 최소화하면서도 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Deep neural networks have demonstrated superior performance in short-term traffic forecasting. However, most existing traffic forecasting systems assume that the training and testing data are drawn from the same underlying distribution, which limits their practical applicability. The NeurIPS 2021 Traffic4cast challenge is the first of its kind dedicated to benchmarking the robustness of traffic forecasting models towards domain shifts in space and time. This technical report describes our solution to this challenge. In particular, we present a multi-task learning framework for temporal and spatio-temporal domain adaptation of traffic forecasting models. Experimental results demonstrate that our multi-task learning approach achieves strong empirical performance, outperforming a number of baseline domain adaptation methods, while remaining highly efficient. The source code for this technical report is available at https://github.com/YichaoLu/Traffic4cast2021.

연구 동기 및 목표

• 시간적 변화(예: 팬데믹 유발)와 공간적 이동(새로운 도시)으로 인한 도메인 이동 문제를 해결하기 위해.
• 다른 도시와 시간대에 걸쳐 일반화 가능한 이식 가능하고 강건한 예측 모델을 개발하기 위해.
• 도시나 시간대별로 작업에 특화된 미세조정을 요구하지 않고 분포 이동 상황에서도 성능을 향상시키기 위해.
• 다중 작업 학습이 다양한 데이터를 함께 학습시키는 방식으로 암묵적인 도메인 적응을 가능하게 할 수 있음을 보여주기 위해.

제안 방법

• 다양한 도시와 시간대(2019년 및 2020년)의 교통 흐름 데이터를 사용하여 다중 작업 학습 기반의 U-Net 기반 딥 네트워크를 학습시킨다.
• 모든 소스 도메인(도시 및 연도)을 동시에 최적화하여 분포 이동에 일반화 가능한 공유 표현을 학습한다.
• 모든 도시와 시간대에 대해 하나의 모델을 사용하여 종단간 학습을 수행하며, 도시별 모델 피팅을 방지한다.
• 과적합을 방지하기 위해 조기 정지 기법을 적용하며, 특히 데이터가 적은 환경에서 효과적이다.
• 시공간 데이터를 비디오 유사 시퀀스로 간주하고, 2차원 합성곱을 사용하여 공간적 및 시간적 의존성을 모델링한다.
• 리더보드 성능 향상을 위해 추론 단계에서 모델 앙상블을 활용한다.

실험 결과

연구 질문

• RQ1 중대한 시간적 및 공간적 분포 이동 상황에서 다중 작업 학습이 교통 예측에서 도메인 적응을 효과적으로 가능하게 할 수 있는가?
• RQ2 여러 도시와 연도의 데이터를 함께 학습시키는 것과 각 도시나 시간대별로 별도로 학습시키는 것의 성능 비교는 어떻게 되는가?
• RQ3 기존의 표준 도메인 적응 기반 모델 대비 다중 작업 학습이 새로운 도시나 팬데믹 이후의 교통 패턴에 대해 일반화 성능을 향상시키는가?
• RQ4 동일한 도시에서 유사한 시간대의 데이터(예: 2020년 대비 2020년 검증 데이터)가 모델 성능 향상에 얼마나 기여하는가?
• RQ5 적절한 정규화와 함께 다중 작업 학습을 적용할 경우, 더 복잡한 아키텍처(예: 그래프 ResNet)보다 단순한 모델(U-Net)이 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 다중 작업 학습 방법은 NeurIPS 2021 Traffic4cast 확장 경쟁에서 2위를 기록했으며, 리더보드 점수 59.586을 기록하여 우승 팀과 0.05% 밖에 떨어지지 않았다.
• 이전에 최신 기술 수준(SOTA) 성능을 달성했던 그래프 ResNet 기반 모델을 능가하여, 아키텍처의 단순성과 다중 작업 학습의 조합이 더 효과적일 수 있음을 입증했다.
• 동일한 도시에서의 데이터(예: 방콕 2019년)를 학습하는 것이 여러 도시의 데이터를 수집하는 것보다 더 유익함을 보여주며, 분포 유사성의 중요성을 강조한다.
• 바르셀로나에서 2019년과 2020년 데이터를 결합하여 학습한 결과, 세 도시의 2019년 또는 2020년 데이터만 사용한 경우보다 성능이 뛰어나, 다중 작업 학습이 시간적 도메인 적응을 향상시킨다는 것을 시사한다.
• 모델은 모든 도시와 시간대에 대해 단일 모델을 학습하기만 하여 계산 비용을 최소화하면서도 뛰어난 성능을 달성했다.
• 결과적으로 다중 작업 학습이 도메인 간 불변 특징을 학습하도록 유도함으로써 암묵적인 도메인 적응을 가능하게 한다는 것이 제안된다.