[논문 리뷰] Multi-Modal Graph Interaction for Multi-Graph Convolution Network in Urban Spatiotemporal Forecasting

Geng Xu, Xiyu Wu외 4명|arXiv (Cornell University)|2019. 05. 27.

Human Mobility and Location-Based Analysis인용 수 14

한 줄 요약

이 논문은 다중 그래프 컨볼루션 네트워크(MGCN)를 사용한 도시 공간시계열 예측을 위한 다중모달 그래프 상호작용 프레임워크를 제안한다. 복합 그래프 연결성과 다중선형 관계를 통한 고도화된 공간 특징 추출을 위한 그룹화된 GCN(GGCN)과, 고차원 레이어에서의 공적응을 감소시켜 일반화 능력을 향상시키는 다중선형관계 GCN(MRGCN)을 도입하였다. 본 방법은 라이드헤일링 수요 예측에서 최신 기술 수준(SOTA)의 성능을 달성하며, 정확도, 내구성, 학습 효율성이 향상되었다.

ABSTRACT

Graph convolution network based approaches have been recently used to model region-wise relationships in region-level prediction problems in urban computing. Each relationship represents a kind of spatial dependency, like region-wise distance or functional similarity. To incorporate multiple relationships into spatial feature extraction, we define the problem as a multi-modal machine learning problem on multi-graph convolution networks. Leveraging the advantage of multi-modal machine learning, we propose to develop modality interaction mechanisms for this problem, in order to reduce generalization error by reinforcing the learning of multimodal coordinated representations. In this work, we propose two interaction techniques for handling features in lower layers and higher layers respectively. In lower layers, we propose grouped GCN to combine the graph connectivity from different modalities for more complete spatial feature extraction. In higher layers, we adapt multi-linear relationship networks to GCN by exploring the dimension transformation and freezing part of the covariance structure. The adapted approach, called multi-linear relationship GCN, learns more generalized features to overcome the train-test divergence induced by time shifting. We evaluated our model on ridehailing demand forecasting problem using two real-world datasets. The proposed technique outperforms state-of-the art baselines in terms of prediction accuracy, training efficiency, interpretability and model robustness.

연구 동기 및 목표

• 다양한 모달 간 연결성이 끊어진 영역 쌍으로 인해 다중그래프 컨볼루션 네트워크(MGCN)에서 공간 특징 추출이 완전하지 못한 문제를 해결하기 위해.
• 공간시계열 예측에서 시간 이동에 의한 일반화 갭을 줄이기 위해 모델의 일반화 능력과 이식 가능성을 향상시키기 위해.
• 은닉층에서의 공적응을 감소시키고 모달 간 관계를 모델링함으로써 그래프 학습에서의 다중모달 조율 능력을 향상시키기 위해.
• 라이드헤일링 수요 예측과 같은 도시 계산 작업에서 모델의 내구성, 해석 가능성, 학습 효율성을 향상시키기 위해.

제안 방법

• 다양한 모달에서 유도된 간선을 융합하여 형성된 복합 그래프에서 그래프 컨볼루션을 수행하는 그룹화된 GCN(GGCN)을 도입하여, 공간 특징 추출을 위한 완전한 연결성을 확보한다.
• 고차원 레이어에 다중선형관계 GCN(MRGCN)을 적용하여, 학습된 공분산 구조를 통해 모달별 관계를 모델링하고 뉴런 간 공적응을 감소시킨다.
• 특징 종속성을 유도하기 위해 공분산 행렬의 L2-노름의 음의 로그를 사용하여 모달 간 상호작용을 지도하고 일반화 능력을 향상시킨다.
• 공분산 구조의 일부를 冻결(freeze)하고 차원 변환을 적용하여 다중선형관계 네트워크를 GCN에 적응시켜 안정적이고 일반화된 특징 학습을 가능하게 한다.
• Hinton 다이어그램을 활용해 모달 간 관계를 시각화하고 해석하여, 모든 모달 간 양의 상관관계와 안정적인 상호의존성을 확인한다.
• 그래프 밀도와 유사도 메트릭(재현율, 편집 거리)을 활용해 모달 간 구조적 관계를 분석하고, 모달 간 상호작용 설계의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 도시 공간시계열 예측에서 모든 영역 쌍에 대해 완전한 공간 특징 추출을 보장할 수 있는 다중모달 그래프 연결성을 향상시킬 수 있는가?
• RQ2 모달 간 상호작용 메커니즘이 딥 GCN 아키텍처에서 공적응을 얼마나 줄이고 일반화 능력을 향상시킬 수 있는가?
• RQ3 다중그래프 컨볼루션 네트워크에서의 상호모달 관계의 본질은 무엇이며, 이를 어떻게 학습하고 해석할 수 있는가?
• RQ4 실제 도시 데이터셋에서 예측 정확도, 학습 효율성, 내구성 측면에서 제안된 방법이 SOTA 기준선과 어떻게 비교되는가?

주요 결과

• 제안된 모델은 예측 정확도에서 최신 기술 수준(SOTA) 기준선을 초월하였으며, 테스트 RMSE가 10.78로, 개별 모달 제거 시보다 유의미하게 낮았다(예: 주변 지역 모달 제거 시 11.47).
• MRGCN는 특징 종속성의 상한선을 높여 뉴런 간 공적응을 감소시켜, 낮은 특징 공분산 값으로 확인된 바와 같이 모델의 일반화 능력과 이식 가능성이 향상되었다.
• 모든 모달(주변 지역, POI 유사도, 도로 연결성) 간 상호관계가 양의 상관관계를 보이며, 표현 학습에서 상호 강화 효과가 있음을 시사한다.
• POI 유사도와 도로 연결성 간의 모달 관계는 주변 지역과 도로 연결성 간의 관계보다 더 안정적이며, 이는 이들의 구조적 유사성과 그래프 밀도(POI 유사도: 밀도 높음, 주변 지역 및 도로: 희박함)와 일치한다.
• Hinton 다이어그램은 주변 지역과 도로 연결성 간에 약한, 무작위적인 관계가 있음을 드러내었으며, 이는 간선 집합이 서로 이질적이고 그래프 유사도가 낮음(F-measure = 0, 편집 거리 = 8.8e2)과 일치한다.
• 모델은 향상된 일반화 능력 덕분에 시간 이동 변동성에 대한 민감도가 감소하여 내구성과 학습 효율성이 향상됨을 보였다.