[논문 리뷰] Coupled Layer-wise Graph Convolution for Transportation Demand Prediction

Junchen Ye, Leilei Sun외 3명|arXiv (Cornell University)|2020. 12. 15.

Traffic Prediction and Management Techniques참고 문헌 34인용 수 22

한 줄 요약

이 논문은 자가 학습된 계층별 인접 행렬과 결합된 계층별 메커니즘을 사용하여 다중 수준의 공간적 상관관계와 시간적 동역학을 포착하는 새로운 그래프 컨볼루션 네트워크인 CCRNN을 제안한다. 이 모델은 최신 기술 수준의 성능을 달성하여, 뉴욕 시티 바이크 및 뉴욕 택시 데이터셋에서 각각 Graph WaveNet 대비 RMSE를 13.85%, 26.85% 감소시켰다.

ABSTRACT

Graph Convolutional Network (GCN) has been widely applied in transportation demand prediction due to its excellent ability to capture non-Euclidean spatial dependence among station-level or regional transportation demands. However, in most of the existing research, the graph convolution was implemented on a heuristically generated adjacency matrix, which could neither reflect the real spatial relationships of stations accurately, nor capture the multi-level spatial dependence of demands adaptively. To cope with the above problems, this paper provides a novel graph convolutional network for transportation demand prediction. Firstly, a novel graph convolution architecture is proposed, which has different adjacency matrices in different layers and all the adjacency matrices are self-learned during the training process. Secondly, a layer-wise coupling mechanism is provided, which associates the upper-level adjacency matrix with the lower-level one. It also reduces the scale of parameters in our model. Lastly, a unitary network is constructed to give the final prediction result by integrating the hidden spatial states with gated recurrent unit, which could capture the multi-level spatial dependence and temporal dynamics simultaneously. Experiments have been conducted on two real-world datasets, NYC Citi Bike and NYC Taxi, and the results demonstrate the superiority of our model over the state-of-the-art ones.

연구 동기 및 목표

• 기존 GCN에서 고정된 히우리스틱 인접 행렬이 실제 공간적 관계와 운송 수요의 다중 수준 상관관계를 포착하지 못하는 한계를 해결하기 위해.
• 다른 계층마다 다른 인접 행렬을 허용하여 글로벌 기상 영향과 지역적 교통 사고와 같은 계층적 공간적 상관관계를 모델링하기 위해.
• 상위 및 하위 인접 행렬을 연결하는 계층별 결합 메커니즘을 통해 파라미터 규모와 계산 비용을 감소시키기 위해.
• 게이트드 리커런트 유닛을 사용하여 공간적 표현과 시간적 동역학을 통합하여 엔드 투 엔드 공간-시간 예측을 수행하기 위해.
• 실제 수요 예측에서 거리 기반 또는 상관관계 기반 초기화보다 자가 학습된 인접 행렬이 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 고정된 인접 행렬 대신 각 계층에서 별도로 학습 가능한 인접 행렬을 사용하는 결합된 계층별 그래프 컨볼루션(CGC)을 제안한다.
• 학습 가능한 변환을 통해 상위 수준의 인접 행렬을 하위 수준의 인접 행렬에 연결하는 계층별 결합 메커니즘을 도입하여 파라미터 수를 감소시킨다.
• 다양한 계층의 표현에 대해 그 중요도를 동적으로 할당하는 다중 수준 집계 모듈을 활용한다.
• CGC의 공간적 은닉 상태를 게이트드 리커런트 유닛(GRU)과 융합하여 시간적 동역학을 모델링하고 최종 수요 예측을 생성한다.
• 전체 모델을 백프로파게이션을 통해 엔드 투 엔드로 훈련하여 인접 행렬, 그래프 컨볼루션, 예측 헤드를 동시에 최적화한다.
• 훈련 중 공동으로 학습되는 적응형 임bedding(E₁⁰, E₂⁰)을 사용하여 인접 행렬을 초기화하여 거리 또는 상관관계 히우리스틱에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 자기 학습된 계층별 인접 행렬은 운송 수요 예측에서 다중 수준의 공간적 상관관계 모델링에 기여하는가?
• RQ2 인접 행렬 간의 계층별 결합 메커니즘이 파라미터 복잡도를 감소시키면서도 예측 성능을 유지하거나 향상시키는가?
• RQ3 실제 데이터셋에서 CCRNN의 성능은 Graph WaveNet 및 DCRNN와 같은 최신 기술 수준의 모델과 비교해 어떻게 되는가?
• RQ4 적응형 인접 행렬은 거리 또는 피어슨 상관계수와 같은 히우리스틱 초기화 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 공간적 표현과 GRU의 통합은 수요 패턴의 장기적 시간적 동역학을 효과적으로 모델링하는가?

주요 결과

• CCRNN는 뉴욕 시티 바이크 데이터셋에서 RMSE 2.8382를 기록하여 모든 베이스라인을 초월했으며, 뉴욕 택시 데이터셋에서는 RMSE 9.5631를 기록했다.
• CCRNN는 뉴욕 시티 바이크 데이터셋에서 Graph WaveNet 대비 13.85% 감소한 RMSE를 기록했고, 뉴욕 택시 데이터셋에서는 26.85% 감소시켰다.
• 제거 실험 결과, 인접 행렬을 무작위로 초기화할 경우 성능이 열악해지며(Citi Bike에서 PCC = 0.0204), 적절한 초기화의 필요성을 확인했다.
• PCC 기반 초기화는 Citi Bike에서 PCC 0.7851, 택시 데이터셋에서는 0.9619를 기록하여 모든 베이스라인을 능가했지만, 여전히 전체 CCRNN 모델에 뒤지지 않았다.
• 결합 기능이 없는 변종은 Citi Bike에서 PCC 0.7702, 택시 데이터셋에서는 0.9594를 기록하여, 인접 행렬이 학습 가능하더라도 결합 메커니즘이 성능 향상에 기여함을 시사했다.
• 완전한 CCRNN 모델은 Citi Bike에서 PCC 0.7934, 택시 데이터셋에서는 0.9648를 기록하여, 복잡한 공간-시간 상관관계를 효과적으로 포착하는 데에 전체 아키텍처의 유용성을 입증했다.