[논문 리뷰] Cross-City Transfer Learning for Deep Spatio-Temporal Prediction

Leye Wang, Geng Xu외 3명|arXiv (Cornell University)|2018. 02. 01.

Traffic Prediction and Management Techniques참고 문헌 12인용 수 20

한 줄 요약

이 논문은 깊이 있는 시공간 예측을 위한 새로운 도시 간 전이 학습 프레임워크인 RegionTrans를 제안한다. 이 프레임워크는 데이터가 풍부한 소스 도시에서 데이터가 부족한 타겟 도시로 지식을 전이할 수 있도록, 유사한 시공간 패턴을 가진 도시 간 지역 간 매칭을 통해 이를 실현한다. 1×1 Conv2D 레이어를 활용해 지역 수준의 표현을 추출하고, 매칭된 지역 간 표현 차이를 최소화함으로써 RegionTrans는 최신의 미세조정 기법 대비 예측 오차를 최대 10.7% 감소시킨다. 특히 타겟 데이터가 제한된 경우에 매우 효과적이다.

ABSTRACT

Spatio-temporal prediction is a key type of tasks in urban computing, e.g., traffic flow and air quality. Adequate data is usually a prerequisite, especially when deep learning is adopted. However, the development levels of different cities are unbalanced, and still many cities suffer from data scarcity. To address the problem, we propose a novel cross-city transfer learning method for deep spatio-temporal prediction tasks, called RegionTrans. RegionTrans aims to effectively transfer knowledge from a data-rich source city to a data-scarce target city. More specifically, we first learn an inter-city region matching function to match each target city region to a similar source city region. A neural network is designed to effectively extract region-level representation for spatio-temporal prediction. Finally, an optimization algorithm is proposed to transfer learned features from the source city to the target city with the region matching function. Using citywide crowd flow prediction as a demonstration experiment, we verify the effectiveness of RegionTrans. Results show that RegionTrans can outperform the state-of-the-art fine-tuning deep spatio-temporal prediction models by reducing up to 10.7% prediction error.

연구 동기 및 목표

• 데이터 부족 문제를 해결하기 위해 데이터가 풍부한 도시에서 데이터가 부족한 도시로 지식 전이를 가능하게 하는 것.
• 도시 전체가 아닌 지역 수준에서 작동하는 딥 전이 학습 프레임워크를 개발하여 전이 효율성과 정확도를 향상시키는 것.
• 서로 다른 도시 간 전이 시 부정적 전이를 최소화하기 위해 유사한 시공간 역학을 가지는 도시 간 지역 쌍을 식별하는 것.
• 실제 응용 사례인 인파 유동 예측을 통해 RegionTrans의 효과성을 입증하는 것.

제안 방법

• 짧은 기간의 서비스 데이터 또는 보조 데이터를 활용해 타겟 도시의 각 지역을 유사한 소스 도시 지역과 매칭하는 지역 매칭 함수를 설계한다.
• 시간적 및 공간적 의존성을 데이터에서 포착하기 위해 스택된 ConvLSTM 레이어로 깊이 있는 시공간 모델을 구축한다.
• 지역 수준의 잠재 표현을 추출하고 인코딩하기 위한 핵심 구성 요소로 1×1 Conv2D 레이어를 도입한다.
• 학습 중에 도시 간 매칭된 지역 쌍의 학습된 표현 간 격리 차이를 최소화하기 위한 최적화 알고리즘을 적용한다.
• 더 나은 지역 유사도 추정을 위해 서비스 데이터 전용 매칭(S-Match)과 보조 데이터를 활용한 매칭(A-Match)을 모두 지원한다.
• 매칭된 지역 표현을 통해 소스 도시로부터 정교화된 지식을 얻어 타겟 도시 모델을 미세조정함으로써 전이 학습을 수행한다.

실험 결과

연구 질문

• RQ1 타겟 도시의 데이터가 제한된 상황에서 도시 간 지역 수준의 매칭이 깊이 있는 시공간 예측에서 지식 전이를 효과적으로 가능하게 하는가?
• RQ2 데이터 부족 상황에서 RegionTrans는 최신의 미세조정 모델 대비 예측 정확도에서 어떻게 비교되는가?
• RQ3 보조 데이터를 사용하면 단순히 짧은 기간의 서비스 데이터에 의존하는 것보다 지역 매칭의 정확도가 향상되고, 이로 인해 전이 성능이 향상되는가?
• RQ4 D.C.와 뉴욕과 같이 상이한 도시 간에서 지식을 전이할 때 RegionTrans는 부정적 전이를 피할 수 있는가?
• RQ5 표현 격리 손실의 하이퍼파rameter 가중치에 대해 RegionTrans는 얼마나 민감한가? 최적의 설정은 무엇인가?

주요 결과

• RegionTrans는 최신의 미세조정 기법 대비 예측 오차를 최대 10.7% 감소시켜 데이터가 부족한 환경에서 뚜렷한 성능 향상을 보였다.
• 타겟 도시의 데이터 기록이 매우 짧을 경우, 예를 들어 인파 유동 기록이 단 하루 뿐일 경우 성능 향상이 가장 두드러졌다.
• 보조 데이터를 활용한 지역 매칭(A-Match)을 사용하는 RegionTrans는 단지 짧은 기간의 서비스 데이터에 의존하는 S-Match 대비 성능이 뛰어나, 더 나은 매칭이 전이 성능을 향상시킨다는 것을 시사한다.
• D.C.에서 상이한 도시인 뉴욕으로 전이할 경우조차 RegionTrans는 모든 기준 모델보다 낮은 오차를 지속적으로 기록했으며, 이는 미세조정 모델이 부정적 전이에 시달리는 상황을 피했다는 것을 의미한다.
• 표현 격리 손실 가중치(w)를 0으로 설정할 경우 성능 저하가 심각하게 발생하여 최대 5% 높은 오차를 기록했으며, 이는 도시 간 지역 매칭이 지식 전이에 핵심적인 역할을 한다는 것을 확인시켰다.
• 계산적으로 효율적이며, 타겟 데이터가 1~3일 분량일 경우 전이 학습이 단 50~100분 내로 수행되어 실세계 적용에 적합하다.