[論文レビュー] Real World Applications of Machine Learning Techniques over Large Mobile Subscriber Datasets

Jobin Wilson, Chitharanj Kachappilly+4 more|arXiv (Cornell University)|Feb 8, 2015

Customer churn and segmentation参考文献 16被引用数 4

ひとこと要約

本論文では、64ペタバイトのモバイル加入者データを対象に、大規模なパーソナライゼーションおよび予測分析を可能にする、スケーラブルでリアルタイム対応の機械学習プラットフォームを、通信事業者向けに構築した。ルールベースのRDBMSシステムから、Hadoop、Mahout、およびカスタムのマップリダースワークフローを活用するハイブリッドビッグデータアーキテクチャに進化させることで、5億人を超える加入者に対して年間10億件以上のパーソナライズドレコメンデーションを提供し、適応的でコンテンツに配慮したレコメンデーションエンジンと反復的モデル最適化により、キャンペーンの効果が顕著に向上した。

ABSTRACT

Communication Service Providers (CSPs) are in a unique position to utilize their vast transactional data assets generated from interactions of subscribers with network elements as well as with other subscribers. CSPs could leverage its data assets for a gamut of applications such as service personalization, predictive offer management, loyalty management, revenue forecasting, network capacity planning, product bundle optimization and churn management to gain significant competitive advantage. However, due to the sheer data volume, variety, velocity and veracity of mobile subscriber datasets, sophisticated data analytics techniques and frameworks are necessary to derive actionable insights in a useable timeframe. In this paper, we describe our journey from a relational database management system (RDBMS) based campaign management solution which allowed data scientists and marketers to use hand-written rules for service personalization and targeted promotions to a distributed Big Data Analytics platform, capable of performing large scale machine learning and data mining to deliver real time service personalization, predictive modelling and product optimization. Our work involves a careful blend of technology, processes and best practices, which facilitate man-machine collaboration and continuous experimentation to derive measurable economic value from data. Our platform has a reach of more than 500 million mobile subscribers worldwide, delivering over 1 billion personalized recommendations annually, processing a total data volume of 64 Petabytes, corresponding to 8.5 trillion events.

研究の動機と目的

• 大量かつ高速度なモバイル加入者データを処理する上で、ルールベースのRDBMS駆動型マーケティングシステムの限界を克服すること。
• 大規模スケールでのパーソナライズドレコメンデーションを提供できる、スケーラブルでリアルタイム対応の機械学習プラットフォームを設計・運用すること。
• 実世界の通信環境における大規模なデータマイニングおよび機械学習アルゴリズムのプロダクション化における実務的課題と解決策を示すこと。
• プロダクションアナリティクスプラットフォームにおいて、データサイエンス、ドメインエキスパート知識、運用プロセスを統合するベストプラクティスを確立すること。

提案手法

• RDBMSシステムからHadoop、Apache Mahout、およびカスタムのマップリダースパイプラインを活用する分散型ビッグデータアナリティクスプラットフォームに進化させた。
• 3段階のレコメンデーションシステムを実装した：(1) MahoutのCVBを用いたLDAによるコンテンツトピックモデリング、(2) マップリダース集約による加入者トピックプロファイル生成、(3) プロファイル類似度を用いたリアルタイムレコメンデーションスコアリング。
• 加入者プロファイルとコンテンツプロファイル間の直接類似度を計算するために、Kullback-Leiblerダイバージェンスを用い、事前計算されたユーザー類似度行列への依存を低減した。
• スケジュールされたワークフローを備えたモジュラで分離されたパイプラインを設計した：週次でコンテンツモデリング、日次でプロファイルおよびレコメンデーションの更新。
• データが不足する場合のビジネスロジックの反映とフォールバックレコメンデーションを可能にするために、MLパイプラインにマニュアルルールベースのオーバーライドを統合した。
• 分散処理（Hadoop）とインメモリ処理を組み合わせたハイブリッドアーキテクチャを採用し、最適なパフォーマンスを実現するためのプラグイン可能な実行モダリティを提供した。

実験結果

リサーチクエスチョン

• RQ1 通信事業者が5億人のモバイル加入者を対象に、リアルタイムでのパーソナライゼーションを提供するための機械学習システムをどのようにスケーリングできるか？
• RQ2 実世界の通信環境における大規模なデータマイニングパイプラインのプロダクション化に不可欠なアーキテクチャ的・運用的パターンは何か？
• RQ3 ドメイン知識とルールベースシステムが、プロダクションレコメンデーションエンジンにおいて自動化されたMLモデルと効果的に共存できるか？
• RQ4 データ品質、ラインレージ、ライフサイクル管理がペタバイト規模の信頼性とスケーラビリティを確保する上で果たす役割は何か？
• RQ5 実世界のMLデプロイメントにおいて、特徴工学と前処理がアルゴリズムの洗練度を上回る影響を及える程度はどの程度か？

主な発見

• プラットフォームは64ペタバイトのデータを処理し、8.5兆件のイベントを処理し、5億人を超える加入者に対して年間10億件以上のパーソナライズドレコメンデーションを提供した。
• 3段階のマップリダースパイプラインにより、スケーラブルなコンテンツモデリング、加入者プロファイリング、日次・週次スケジューリングによるリアルタイムレコメンデーション生成が可能になった。
• 事前計算されたユーザー類似度行列の代わりに、直接KLダイバージェンスに基づく類似度推定を採用することで、スケーラビリティが著しく向上し、レイテンシが低減した。
• MLレコメンデーションにマニュアルルールを統合することで、データのスパarsity対策とビジネス優先順位の整合性を確保する上で不可欠であった。
• Hadoop、インメモリ処理、およびプラグイン可能な実行フレームワークを組み合わせたハイブリッドアーキテクチャにより、多様なワークロードに柔軟かつ高性能なアナリティクスが実現した。
• データ品質、ラインレージ追跡、中央集権的なデータカタログ管理が、大規模な複雑なアナリティクスのプロダクション化を支える上で極めて重要であった。