[논문 리뷰] Traffic4cast at NeurIPS 2021 -- Temporal and Spatial Few-Shot Transfer Learning in Gridded Geo-Spatial Processes

Christian Eichenberger, Moritz Neun외 35명|arXiv (Cornell University)|2022. 03. 31.

Traffic Prediction and Management Techniques인용 수 10

한 줄 요약

이 논문은 10개 도시에서 2년간(2019–2020) 10¹²개 이상의 GPS 프로브를 기반으로 훈련된 U-Net 및 그래프 ResNet 아키텍처를 활용하여 다양한 도시 환경과 시간대 간의 교통 조건 예측을 위한 소수의 예시 전이 학습 프레임워크를 제안한다. 연구는 코로나19 이전 데이터로 훈련된 모델이 단 한 시간의 이전 교통 데이터와 정적 도로 지도만을 사용하여도 코로나19 기간 동안의 조건으로 일반화하는 데 성공적으로 기여함을 보여주며, 도메인 간 큰 이질성에도 불구하고 뛰어난 성능을 달성한다.

ABSTRACT

The IARAI Traffic4cast competitions at NeurIPS 2019 and 2020 showed that neural networks can successfully predict future traffic conditions 1 hour into the future on simply aggregated GPS probe data in time and space bins. We thus reinterpreted the challenge of forecasting traffic conditions as a movie completion task. U-Nets proved to be the winning architecture, demonstrating an ability to extract relevant features in this complex real-world geo-spatial process. Building on the previous competitions, Traffic4cast 2021 now focuses on the question of model robustness and generalizability across time and space. Moving from one city to an entirely different city, or moving from pre-COVID times to times after COVID hit the world thus introduces a clear domain shift. We thus, for the first time, release data featuring such domain shifts. The competition now covers ten cities over 2 years, providing data compiled from over 10^12 GPS probe data. Winning solutions captured traffic dynamics sufficiently well to even cope with these complex domain shifts. Surprisingly, this seemed to require only the previous 1h traffic dynamic history and static road graph as input.

연구 동기 및 목표

• 도시 교통 예측에서 시간적 및 공간적 도메인 이질성에 따른 모델 일반화 문제를 해결하기 위해.
• 코로나19 이전 교통 데이터로 훈련된 모델이 다른 도시의 코로나19 기간 조건으로 일반화 가능한지 평가하기 위해.
• 제한된 레이블 데이터를 가진 격자형 지오스페이셜 프로세스에서 소수의 예시 전이 학습의 효과성을 조사하기 위해.
• 10개의 다양한 메트로폴리탄 지역과 10¹²개의 GPS 프로브를 포함하는 대규모 실세계 벤치마크를 제공하여 교통 예측의 강건성 평가를 가능하게 하기 위해.

제안 방법

• 핵심 과제에서는 각 도시별로 별도로 훈련된 U-Net 아키텍처를 사용하며, 2019년 코로나19 이전 데이터를 기반으로 훈련하고, 추론 시에는 단 한 시간의 이전 교통 데이터와 정적 도로 지도만을 사용한다.
• 확장 과제에서는 정적 도로 지도에서 유도된 그래프에 기반한 그래프 ResNet을 사용하며, 노드 특징은 각 공간 위치의 동적 교통 데이터를 나타낸다.
• 입력은 4개의 방향별 박스로 나누어진 12개 시간 단위(1시간)의 교통 속도 및 차량 수를 포함하며, 8채널 텐서로 인코딩된다.
• 도로 네트워크의 노드를 픽셀 인덱스로 매핑하여 공간적 구조를 기반으로 메시지 전달을 가능하게 하는 그래프 기반 표현을 구성한다.
• 예측 수평선 6개(5~60분)에 걸쳐 평균 제곱 오차(MSE)를 사용하여 평가하며, 픽셀별 및 채널별 메트릭을 제공한다.
• 기준 모델로는 도시별로 훈련된 일반 U-Net과 그래프 ResNet을 사용하며, 이는 미리 보지 않은 도시와 시간대에서 평가된다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 코로나19 이전 교통 데이터로 훈련된 후, 완전히 다른 도시의 코로나19 기간 조건으로 일반화 가능한가?
• RQ2 강건한 도시 간 및 시간 간 예측을 위해 필요한 최소 입력은 무엇인가?
• RQ3 크게 이질적인 도메인 이질성이 존재하는 격자형 지오스페이셜 프로세스에서 소수의 예시 전이 학습은 얼마나 효과적인가?
• RQ4 정적 도로 지도와 시간적 역사 데이터만으로 다양한 도시 환경 간 일반화를 얼마나 잘 달성할 수 있는가?

주요 결과

• 우승 솔루션은 단 한 시간의 이전 교통 데이터와 정적 도로 지도만을 사용하여 2021 Traffic4cast 과제에서 뛰어난 성능을 달성했으며, 이는 복잡한 동역학이 최소한의 입력으로도 포착될 수 있음을 시사한다.
• U-Net 아키텍처는 교통 예측에 매우 효과적이었으며, 복잡한 지오스페이셜 프로세스에서 강력한 특징 추출 능력을 보였다.
• 2019년 데이터로 훈련된 모델은 10개의 다양한 도시에서 코로나19 기간 동안의 조건으로도 효과적으로 일반화되었으며, 이는 이동 패턴의 큰 변화가 있었음에도 불구하고 성립한다.
• 일반 평균 기준 모델은 예측 수평선이 길어질수록 오차가 증가했지만, 기대보다는 더 완만한 상승 추세를 보였으며, 이는 교통 동역학에 내재된 예측 가능성의 존재를 시사한다.
• 그래프 ResNet 기준 모델은 단지 0.2백만 파라미터로도 경쟁 가능한 성능을 달성했으며, 이는 구조적 사전 지식과 결합된 경량 모델이 효과적일 수 있음을 보여준다.
• 픽셀별 MSE는 가장 자주 사용되는 도로에서 가장 높았으며, 이는 특히 차량 수 예측에서 높은 불확실성 존재를 시사한다.