[论文解读] CD-CNN: A Partially Supervised Cross-Domain Deep Learning Model or Urban Resident Recognition

Jingyuan Wang, Xu He+5 more|arXiv (Cornell University)|Apr 26, 2018

Human Mobility and Location-Based Analysis参考文献 22被引用 14

一句话总结

本文提出CD-CNN，一种部分监督的跨域深度学习模型，利用手机信令数据和不完整的问卷标签来识别城市移民与本地居民。通过将行为分解为位置和通信两个领域，并采用具有三步训练过程（包括协同训练）的联合卷积神经网络，CD-CNN在无锡实现了高预测准确率，从而支持对移民行为的详细分析。

ABSTRACT

Driven by the wave of urbanization in recent decades, the research topic about migrant behavior analysis draws great attention from both academia and the government. Nevertheless, subject to the cost of data collection and the lack of modeling methods, most of existing studies use only questionnaire surveys with sparse samples and non-individual level statistical data to achieve coarse-grained studies of migrant behaviors. In this paper, a partially supervised cross-domain deep learning model named CD-CNN is proposed for migrant/native recognition using mobile phone signaling data as behavioral features and questionnaire survey data as incomplete labels. Specifically, CD-CNN features in decomposing the mobile data into location domain and communication domain, and adopts a joint learning framework that combines two convolutional neural networks with a feature balancing scheme. Moreover, CD-CNN employs a three-step algorithm for training, in which the co-training step is of great value to partially supervised cross-domain learning. Comparative experiments on the city Wuxi demonstrate the high predictive power of CD-CNN. Two interesting applications further highlight the ability of CD-CNN for in-depth migrant behavioral analysis.

研究动机与目标

• 解决由于数据收集成本高和采样稀疏，导致移民行为研究中缺乏个体层面行为数据的问题。
• 通过整合手机信令数据作为行为特征，克服传统问卷调查的局限性。
• 开发一种部分监督学习框架，有效利用调查中不完整的标签与丰富的手机数据。
• 利用跨域深度学习实现对移民行为的精细化、个体层面分析。
• 设计一种在有限标注数据下，可在不同领域（如不同城市或数据源）之间泛化的模型。

提出的方法

• CD-CNN将手机数据分解为两个行为领域：位置（空间移动模式）和通信（通话与短信活动）。
• 采用两个独立的卷积神经网络（CNN）分别从位置和通信领域独立提取特征。
• 应用特征平衡方案，对齐并整合两个领域的表征，以提升联合学习效果。
• 模型采用三步训练算法：预训练、协同训练和微调，其中协同训练在利用未标记数据方面起关键作用。
• 协同训练步骤通过在未标记样本上相互生成伪标签，实现两个领域专用网络之间的相互学习。
• 联合学习框架使模型即使在部分监督和领域偏移的情况下，仍能实现跨领域泛化。

实验结果

研究问题

• RQ1 仅使用不完整的调查标签和手机信令数据，部分监督的深度学习模型能否有效识别城市居民（移民与本地居民）？
• RQ2 将手机行为分解为位置和通信领域，如何提升识别性能？
• RQ3 在低标签数据场景下，协同训练策略在多大程度上提升了模型性能？
• RQ4 尽管存在领域偏移和标签不完整，CD-CNN模型是否能在不同城市背景下实现泛化？
• RQ5 除了简单的分类任务，利用模型学习到的表征，还能提取出哪些关于移民行为的洞察？

主要发现

• CD-CNN在无锡对城市居民的分类中实现了高预测准确率，表明即使在标签不完整的情况下仍具有强大性能。
• 采用领域专用CNN和特征平衡的联合学习框架，显著优于单一领域或非联合模型的分类表现。
• 协同训练步骤显著提升了在部分监督设置下的模型学习效率和准确率。
• 该模型支持超越二元分类的深入行为分析，揭示了移民移动和通信中的有意义模式。
• 对比实验证实，CD-CNN在无锡数据集上相较于基线方法具有更优的预测能力。
• 两个实际应用场景展示了模型在揭示移民复杂行为特征方面的实用性，如移动频率和社会互动模式。