[论文解读] Real World Applications of Machine Learning Techniques over Large Mobile Subscriber Datasets

Jobin Wilson, Chitharanj Kachappilly+4 more|arXiv (Cornell University)|Feb 8, 2015

Customer churn and segmentation参考文献 16被引用 4

一句话总结

本文提出了一种可扩展的实时机器学习平台，专为电信运营商设计，用于在64PB移动用户数据上实现大规模个性化推荐与预测分析。通过从基于规则的RDBMS系统演进为使用Hadoop、Mahout及自定义Map-Reduce工作流的混合大数据架构，该平台每年向5亿多用户成功提供超过10亿条个性化推荐，显著提升了营销活动的效果，其核心在于自适应、内容感知的推荐引擎与迭代式模型优化。

ABSTRACT

Communication Service Providers (CSPs) are in a unique position to utilize their vast transactional data assets generated from interactions of subscribers with network elements as well as with other subscribers. CSPs could leverage its data assets for a gamut of applications such as service personalization, predictive offer management, loyalty management, revenue forecasting, network capacity planning, product bundle optimization and churn management to gain significant competitive advantage. However, due to the sheer data volume, variety, velocity and veracity of mobile subscriber datasets, sophisticated data analytics techniques and frameworks are necessary to derive actionable insights in a useable timeframe. In this paper, we describe our journey from a relational database management system (RDBMS) based campaign management solution which allowed data scientists and marketers to use hand-written rules for service personalization and targeted promotions to a distributed Big Data Analytics platform, capable of performing large scale machine learning and data mining to deliver real time service personalization, predictive modelling and product optimization. Our work involves a careful blend of technology, processes and best practices, which facilitate man-machine collaboration and continuous experimentation to derive measurable economic value from data. Our platform has a reach of more than 500 million mobile subscribers worldwide, delivering over 1 billion personalized recommendations annually, processing a total data volume of 64 Petabytes, corresponding to 8.5 trillion events.

研究动机与目标

• 解决基于规则的RDBMS驱动营销系统在处理大规模、高速移动用户数据时的局限性。
• 设计并实现一个可扩展的实时机器学习平台，能够在大规模场景下提供个性化推荐。
• 展示在真实电信环境中实现大规模数据挖掘与机器学习算法生产化的实际挑战与解决方案。
• 建立将数据科学、领域专业知识与运营流程有效整合到生产分析平台中的最佳实践。

提出的方法

• 从关系型数据库系统演进为使用Hadoop、Apache Mahout及自定义Map-Reduce流水线的分布式大数据分析平台。
• 实施三阶段推荐系统：(1) 使用Mahout中的CVB实现潜在狄利克雷分布(Latent Dirichlet Allocation, LDA)进行内容主题建模；(2) 通过Map-Reduce聚合生成用户-主题画像；(3) 利用画像相似性实现实时推荐评分。
• 采用Kullback-Leibler散度计算用户与内容画像之间的直接相似性，降低对预计算用户相似性矩阵的依赖。
• 设计模块化、松耦合的流水线，采用计划工作流：每周进行内容建模，每日更新用户画像与推荐结果。
• 将手动规则驱动的覆盖机制集成至机器学习流水线中，以在数据稀疏时支持业务逻辑与备用推荐。
• 采用混合架构，结合分布式(Hadoop)与内存处理，支持可插拔的执行模式，以实现最优性能。

实验结果

研究问题

• RQ1 电信运营商如何将机器学习系统扩展至支持5亿移动用户的大规模实时个性化推荐？
• RQ2 在真实电信环境中实现大规模数据挖掘流水线生产化，哪些架构与操作模式是关键？
• RQ3 在生产推荐引擎中，领域知识与基于规则的系统如何与自动化机器学习模型有效共存？
• RQ4 数据质量、血缘追踪与生命周期管理在保障PB级规模下可靠且可扩展分析中发挥何种作用？
• RQ5 在真实世界机器学习部署中，特征工程与预处理在多大程度上可超越算法复杂度带来性能提升？

主要发现

• 平台成功处理了64PB数据，对应8.5万亿条事件，每年向5亿多用户提供了超过10亿条个性化推荐。
• 三阶段Map-Reduce流水线实现了可扩展的内容建模、用户画像构建与实时推荐生成，支持每日与每周的调度机制。
• 用基于KL散度的直接相似性估计替代预计算的用户相似性矩阵，显著提升了可扩展性并降低了延迟。
• 将人工规则与机器学习推荐相结合，对于应对数据稀疏性及对齐业务优先级至关重要。
• 结合Hadoop、内存处理与可插拔执行框架的混合架构，使平台能够在多样化工作负载下实现灵活且高性能的分析。
• 强大的数据质量控制、血缘追踪与集中化数据目录管理，是实现大规模复杂分析生产化的关键支撑。