[논문 리뷰] Knowledge Adaption for Demand Prediction based on Multi-task Memory Neural Network

Can Li, Lei Bai외 3명|arXiv (Cornell University)|2020. 09. 12.

Traffic Prediction and Management Techniques참고 문헌 31인용 수 7

한 줄 요약

이 논문은 경량 정류장이 분포된 대중교통 방식(예: 경전철, 페리)의 수요 예측 정확도를 향상시키기 위해, 정류장이 밀집된 방식(예: 버스)으로부터 지식을 전이하는 메모리 보강 다중 작업 순환 신경망인 MATURE을 제안한다. 메모리 보강 순환 신경망, 지식 적응 모듈, 다중 작업 학습을 통합함으로써 MATURE는 특히 낮은 데이터를 가진 방식에서의 예측 정확도를 향상시켜 실세계 시드니 지역의 대중교통 데이터에서 최신 기술 기준을 초월한다.

ABSTRACT

Accurate demand forecasting of different public transport modes(e.g., buses and light rails) is essential for public service operation.However, the development level of various modes often varies sig-nificantly, which makes it hard to predict the demand of the modeswith insufficient knowledge and sparse station distribution (i.e.,station-sparse mode). Intuitively, different public transit modes mayexhibit shared demand patterns temporally and spatially in a city.As such, we propose to enhance the demand prediction of station-sparse modes with the data from station-intensive mode and designaMemory-Augmented Multi-taskRecurrent Network (MATURE)to derive the transferable demand patterns from each mode andboost the prediction of station-sparse modes through adaptingthe relevant patterns from the station-intensive mode. Specifically,MATUREcomprises three components: 1) a memory-augmentedrecurrent network for strengthening the ability to capture the long-short term information and storing temporal knowledge of eachtransit mode; 2) a knowledge adaption module to adapt the rele-vant knowledge from a station-intensive source to station-sparsesources; 3) a multi-task learning framework to incorporate all theinformation and forecast the demand of multiple modes jointly.The experimental results on a real-world dataset covering four pub-lic transport modes demonstrate that our model can promote thedemand forecasting performance for the station-sparse modes.

연구 동기 및 목표

• 제한된 데이터와 흩어진 정류장 배치로 인해 정류장 희소 대중교통 방식(예: 경전철, 페리)의 수요 예측 정확도가 떨어지는 문제를 해결한다.
• 다양한 대중교통 방식 간의 공통된 시간적 및 공간적 수요 패턴을 활용하여 낮은 데이터를 가진 방식의 예측 성능을 향상시킨다.
• 정류장이 밀집된 방식(예: 버스)으로부터 정류장이 희소한 방식(예: 경전철, 페리)으로 지식을 효과적으로 전이하고 적응시키는 모델을 개발한다.
• 공유된 메모리와 지식 전이를 통한 다중 작업 학습 프레임워크를 통해 여러 대중교통 방식을 동시에 모델링하여 수요 예측의 강건성을 향상시킨다.
• 적응형 지식 적응 메커니즘을 통해 소스 모드에서 타겟 모드로의 유용한 특징 전이를 극대화하면서 노이즈의 영향을 최소화한다.

제안 방법

• 장기 및 단기 시간적 의존성을 캡처하고 외부 메모리에 모드별 시간 지식을 저장하기 위해 메모리 보강 순환 신경망(MARN)을 사용한다.
• 학습 가능한 적응 함수를 사용하여 정류장이 밀집된 모드의 메모리에서 정류장이 희소한 모드의 메모리로 관련 지식을 선택적으로 전달하는 지식 적응 모듈을 도입한다.
• 소스 및 타겟 메모리 상태의 가중 조합으로 지식 전이를 공식화하며, 원본 지식과 적응된 지식 간 균형을 조절하는 학습 가능한 하이퍼파rameter γ를 사용한다.
• 공유 및 작업별 구성 요소를 사용하여 모든 대중교통 방식의 수요 예측을 동시에 최적화하는 다중 작업 학습 프레임워크에 적응된 지식을 통합한다.
• 평균 절대 오차(MAE)와 근본 평균 제곱 오차(RMSE)를 조합한 손실 함수를 사용하며, 하이퍼파rameter γ를 통해 적응된 지식의 영향력을 조절한다.
• 시드니 지역의 네 가지 대중교통 방식(버스, 기차, 경전철, 페리)에서 수집한 실세계 데이터를 기반으로 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 정류장이 밀집된 대중교통 방식(예: 버스)으로부터의 지식이 정류장이 희소한 방식(예: 경전철, 페리)의 수요 예측 정확도 향상에 효과적으로 전이될 수 있는가?
• RQ2 제안된 지식 적응 메커니즘은 단순한 특징 연결에 비해 성능과 노이즈에 대한 강건성 측면에서 어떻게 우월한가?
• RQ3 공유 메모리와 지식 전이를 통한 다중 작업 학습이 여러 대중교통 방식의 예측 정확도 향상에 어느 정도 기여하는가?
• RQ4 지식 적응 정도를 조절하는 하이퍼파rameter γ에 대한 모델 성능의 민감도는 어떠한가?
• RQ5 기상 조건이나 이례적인 사건과 같은 외부 요인에 의해 영향을 받더라도, 낮은 데이터를 가진 모드의 수요 정점과 하강을 모델이 정확하게 예측할 수 있는가?

주요 결과

• MATURE는 정류장이 희소한 모드(경전철, 페리, 기차)의 수요 예측 정확도를 정류장이 밀집된 버스 모드로부터의 지식을 활용하여 크게 향상시켰다.
• 지식 적응 모듈은 단순한 특징 연결보다 노이즈 영향을 줄이고 유용한 특징 전이를 향상시켜 더 낮은 MAE 및 RMSE 값을 기록하며 성능이 뛰어나다.
• 페리 모드의 최적 γ는 0.3, 경전철 모드의 최적 γ는 0.4, 기차 모드의 최적 γ는 0.3로, 지식 적응의 균형이 최적임을 나타낸다.
• 모델은 하이퍼파rameter γ에 대해 높은 강건성을 보이며, 다양한 값에서도 성능 변동이 미미하여 안정적인 일반화 능력을 보였다.
• 다양한 수요 범위에서 정확도가 높게 유지되었으며, 실제 수요 곡선과 예측 곡선 간의 높은 일치도를 보였고, 기상 관련 하강과 같은 극단적 외부 충격 상황을 제외하고는 대부분의 경우 정확도가 유지되었다.
• 대부분의 수요 정점은 정확하게 포착했지만, 추가적인 맥락 정보가 없이 이례적인 하강이나 급격한 변화는 예측하기 어려웠다.