[论文解读] Learning Neighborhood Representation from Multi-Modal Multi-Graph: Image, Text, Mobility Graph and Beyond

Tianyuan Huang, Zhecheng Wang+3 more|arXiv (Cornell University)|May 6, 2021

Human Mobility and Location-Based Analysis参考文献 25被引用 8

一句话总结

本文提出 M3G，一种多模态多图框架，通过整合街景图像、兴趣点（POI）数据、地理空间邻近性及人类移动轨迹作为节点和边的特征，学习城市街区的表征。通过在多图结构上采用对比采样策略，该方法在下游预测任务中实现了最先进性能，并有效捕捉了学习表征空间中的空间与基于移动性的关系。

ABSTRACT

Recent urbanization has coincided with the enrichment of geotagged data, such as street view and point-of-interest (POI). Region embedding enhanced by the richer data modalities has enabled researchers and city administrators to understand the built environment, socioeconomics, and the dynamics of cities better. While some efforts have been made to simultaneously use multi-modal inputs, existing methods can be improved by incorporating different measures of 'proximity' in the same embedding space - leveraging not only the data that characterizes the regions (e.g., street view, local businesses pattern) but also those that depict the relationship between regions (e.g., trips, road network). To this end, we propose a novel approach to integrate multi-modal geotagged inputs as either node or edge features of a multi-graph based on their relations with the neighborhood region (e.g., tiles, census block, ZIP code region, etc.). We then learn the neighborhood representation based on a contrastive-sampling scheme from the multi-graph. Specifically, we use street view images and POI features to characterize neighborhoods (nodes) and use human mobility to characterize the relationship between neighborhoods (directed edges). We show the effectiveness of the proposed methods with quantitative downstream tasks as well as qualitative analysis of the embedding space: The embedding we trained outperforms the ones using only unimodal data as regional inputs.

研究动机与目标

• 开发一种统一框架，利用多样化的地理标签数据模态学习城市街区表征。
• 解决单一模态或孤立数据方法在捕捉复杂城市关系方面的局限性。
• 利用多模态输入建模街区内部（节点级）与街区之间（边级）的关系。
• 实现在多座城市上可扩展的、无监督的表征学习，且无内存瓶颈。
• 通过定量预测任务与语义结构的定性分析，评估所学嵌入的质量。

提出的方法

• 将城市街区建模为多模态多图（M3G），其中每个街区作为节点，其特征包含图像与 POI 信息。
• 利用地理空间邻近性与人类移动轨迹作为有向边，表示街区之间的关系。
• 应用对比采样方案，基于图边采样三元组（锚点、正样本、负样本）进行模型训练，实现可扩展训练。
• 采用类孪生网络架构，学习保留邻近性与移动连接关系的街区嵌入。
• 利用预训练编码器提取街景图像与 POI 特征，以生成多模态节点表征。
• 端到端训练模型，使用对比损失优化相关街区之间的语义相似性。

实验结果

研究问题

• RQ1 将多模态数据（图像、POI、移动轨迹、空间邻近性）整合到统一图结构中，能否提升城市街区表征学习效果？
• RQ2 所学嵌入在多大程度上能捕捉街区之间真实世界的空间与移动关系？
• RQ3 所提出的对比采样方法是否能在多城市数据上实现可扩展训练，且不降低性能？
• RQ4 街区嵌入在多大程度上反映了城市的社会经济与人口统计模式？
• RQ5 在下游预测任务中，所学嵌入与单模态或单一同源基线相比表现如何？

主要发现

• M3G 框架在预测 6 项人口统计与经济属性方面实现了最先进性能，当在芝加哥多城市数据上训练时，平均 R² 达到 0.627。
• 在多城市数据（芝加哥与纽约）上进行训练，使芝加哥的预测性能提升（R² = 0.627），相比单城市训练（R² = 0.613），但纽约市未见性能提升。
• 所学街区嵌入与真实世界移动模式高度相关：互访人数较多的街区，其嵌入距离更近。
• 嵌入距离也与空间距离相关，表明模型在表征空间中捕捉到了地理邻近性。
• 通过 k-means 聚类的定性分析显示，犯罪率相似的街区（如市中心与南芝加哥的高犯罪区域）在嵌入空间中被聚为一组。
• PCA 可视化显示，街景图像嵌入紧密聚集在对应街区嵌入周围，反映出局部视觉特征与全局街区表征之间的语义一致性。