[论文解读] A Cross-City Federated Transfer Learning Framework: A Case Study on Urban Region Profiling

Gaode Chen, Yijun Su+7 more|arXiv (Cornell University)|May 31, 2022

Human Mobility and Location-Based Analysis被引用 6

一句话总结

本文提出 CcFTL，一种跨城市联邦迁移学习框架，通过利用城市间的关系知识和模型参数迁移，在保护数据隐私的同时，解决城市区域画像中的数据缺失和标签稀缺问题。联邦学习与同态加密确保了端到端的数据隐私保护。实验表明，该方法在能耗预测任务中显著优于现有最先进方法。

ABSTRACT

Data insufficiency problems (i.e., data missing and label scarcity) caused by inadequate services and infrastructures or imbalanced development levels of cities have seriously affected the urban computing tasks in real scenarios. Prior transfer learning methods inspire an elegant solution to the data insufficiency, but are only concerned with one kind of insufficiency issue and fail to give consideration to both sides. In addition, most previous cross-city transfer methods overlook inter-city data privacy which is a public concern in practical applications. To address the above challenging problems, we propose a novel Cross-city Federated Transfer Learning framework (CcFTL) to cope with the data insufficiency and privacy problems. Concretely, CcFTL transfers the relational knowledge from multiple rich-data source cities to the target city. Besides, the model parameters specific to the target task are firstly trained on the source data and then fine-tuned to the target city by parameter transfer. With our adaptation of federated training and homomorphic encryption settings, CcFTL can effectively deal with the data privacy problem among cities. We take the urban region profiling as an application of smart cities and evaluate the proposed method with a real-world study. The experiments demonstrate the notable superiority of our framework over several competitive state-of-the-art methods.

研究动机与目标

• 解决资源匮乏城市在城市计算中面临的数据缺失与标签稀缺双重挑战。
• 通过避免城市间原始数据共享，保护城市间的数据隐私。
• 开发一种可扩展的、隐私保护的跨城市知识迁移框架，适用于城市计算应用。
• 利用数据丰富城市的关系知识与参数迁移，实现对数据稀缺城市的鲁棒城市区域画像。
• 通过案例研究，展示该框架在实际城市规划场景中的有效性。

提出的方法

• CcFTL 采用联邦学习设置，多个源城市在不共享原始数据的前提下协同训练模型。
• 通过城市间城市数据中共享的结构关系，利用关系知识迁移对齐时空模式。
• 将源城市模型参数通过参数迁移方式在目标城市进行微调，以适应本地数据分布。
• 在联邦训练过程中集成同态加密，确保城市数据的端到端隐私保护。
• 框架支持水平与垂直联邦学习组件，实现数据可用性各异城市间的灵活协作。
• 采用两阶段训练流程：先在源城市进行预训练，再在目标城市进行微调，以提升泛化能力。

实验结果

研究问题

• RQ1 如何设计一种跨城市迁移学习框架，以有效应对城市计算中的数据缺失与标签稀缺问题？
• RQ2 关系知识迁移在数据稀缺城市区域中能在多大程度上提升模型性能？
• RQ3 结合同态加密的联邦学习能否在保障数据隐私的同时，实现城市间有效知识迁移？
• RQ4 CcFTL 在城市区域画像任务中的准确率与鲁棒性方面，相较于最先进方法表现如何？
• RQ5 CcFTL 能为城市规划与智慧城市建设提供哪些实际可行的洞见？

主要发现

• CcFTL 在能耗预测任务中显著优于多种最先进方法，展现出在数据稀缺城市区域中的卓越准确率与鲁棒性。
• 通过从多个数据丰富的城市向目标城市迁移关系知识，框架有效缓解了数据不足问题，即使在标签有限且存在数据缺失的情况下亦表现良好。
• 通过联邦学习与同态加密实现隐私保护，支持在不暴露原始城市数据的前提下安全协作。
• 洛阳市的案例研究显示，CcFTL 可通过识别商业区的最优选址（如靠近 Marker 1 和 Marker 2）为城市规划提供支持。
• 即使在长尾数据分布下，模型仍保持稳定性能，表明其在真实城市环境中的强大泛化能力。
• 关系知识与参数迁移的结合，相比仅依赖单一迁移方式的方法，实现了更优的收敛速度与性能表现。