[論文レビュー] Towards Real-time Customer Experience Prediction for Telecommunication Operators

Ernesto Diaz-Aviles, Fabio Pinelli+8 more|arXiv (Cornell University)|Aug 12, 2015

Customer churn and segmentation参考文献 12被引用数 4

ひとこと要約

本論文は、匿名化されたモバイルネットワーク取引データを用いて訓練された制限付きランダムフォレスト（RRF）モデルを用いて、通信事業者が顧客体験をリアルタイムで予測するためのシステムを提案する。顧客サービスへの通話は、悪質な体験の代理指標として用いられ、ユーザーがカスタマーサポートに連絡するかどうかを予測する。このアプローチは予測性能が高く、事前問題検出と顧客サービスの向上を可能にし、離脱率削減の可能性を秘めている。

ABSTRACT

Telecommunications operators (telcos) traditional sources of income, voice and SMS, are shrinking due to customers using over-the-top (OTT) applications such as WhatsApp or Viber. In this challenging environment it is critical for telcos to maintain or grow their market share, by providing users with as good an experience as possible on their network. But the task of extracting customer insights from the vast amounts of data collected by telcos is growing in complexity and scale everey day. How can we measure and predict the quality of a user's experience on a telco network in real-time? That is the problem that we address in this paper. We present an approach to capture, in (near) real-time, the mobile customer experience in order to assess which conditions lead the user to place a call to a telco's customer care center. To this end, we follow a supervised learning approach for prediction and train our 'Restricted Random Forest' model using, as a proxy for bad experience, the observed customer transactions in the telco data feed before the user places a call to a customer care center. We evaluate our approach using a rich dataset provided by a major African telecommunication's company and a novel big data architecture for both the training and scoring of predictive models. Our empirical study shows our solution to be effective at predicting user experience by inferring if a customer will place a call based on his current context. These promising results open new possibilities for improved customer service, which will help telcos to reduce churn rates and improve customer experience, both factors that directly impact their revenue growth.

研究の動機と目的

• 既存のネットワークデータを用いて通信事業者向けにリアルタイムでの顧客体験予測を可能にすること。
• 大量かつ高速なモバイルデータストリームからタイムリーな顧客インサイトを抽出する課題に対処すること。
• アンケートに依存せずに、カスタマーサポート通話イベントを悪い体験の代理指標として使用すること。
• スケーラブルで解釈可能な機械学習モデルを構築し、ユーザーの不満を引き起こす要因を特定すること。
• 広範な不満が生じる前に対象となる問題を検出することで、プロアクティブなカスタマーサポートを支援すること。

提案手法

• ダウンロードレート、再送信レート、アプリケーションタイプ、デバイスモデル、時間帯などのネットワーク取引特徴量を入力特徴量として、制限付きランダムフォレスト（RRF）モデルを訓練する。
• カスタマーサポート通話イベントを二値分類タスクにおける正例ラベルとして使用し、通話の前に行われたすべての取引を悪質な体験の兆候とみなす。
• 二段階の戦略を採用する：(I) データストリームの生データを用いた取引レベルの予測、(II) ユーザープロファイルの集約された文脈を用いた予測。
• 意思決定ツリーの解釈可能性を活用して、重要なパフォーマンス指標（KPI）およびアプリケーション固有の問題を特定する。
• 実際の通信事業者環境に導入された新規アーキテクチャを用いて、リアルタイムでのスコアリングとモデル訓練のためのビッグデータパイプラインを実装する。
• 最終予測には木の多数決を用い、特徴量の重要度を分析して実行可能なインサイトを得る。

実験結果

リサーチクエスチョン

• RQ1 ネットワークパフォーマンス指標とユーザーの文脈を用いて、ユーザーが近い将来にカスタマーサポートに通話するかどうかを予測できるか？
• RQ2 通話ログを悪質な顧客体験の代理指標として用いる教師あり学習アプローチが、リアルタイムでどの程度効果的か？
• RQ3 制限付きランダムフォレストモデルは、通信事業者にとって高い予測性能と解釈可能性を両立できるか？
• RQ4 リアルタイム予測が、大規模なユーザー集団に影響を与える前にネットワーク問題をどの程度早期に特定できるか？
• RQ5 取引レベルとプロファイルレベルの両方のモデリングアプローチは、ユーザー体験のダイナミクスをどの程度効果的に捉えられるか？

主な発見

• 提案手法は、顧客サービス通話の予測において有望な性能を示し、リアルタイムでの体験監視の実現可能性を実証した。
• モデルは、Apple Mapsの再送信レートに著しい問題が生じたことと、カスタマーサポート通話の増加が相関していることを特定し、実際のネットワーク問題の検出能力を裏付けた。
• アプローチII（集約されたユーザープロファイルを用いる）は、アプリケーション固有の問題の検出を可能にし、原因究明に向けた解釈可能なインサイトを提供した。
• 再現率の向上により、通話する可能性の高いユーザーの検出が向上したが、精度は依然として低く、誤検出の数が多いことが示唆された。
• カスタマーサポート通話が悪い体験の代理指標として有効であることが確認された。これはアンケートフィードバックよりも豊富で、プロアクティブな対応に即座に活用可能である。
• 今後の研究では、取引レベルとプロファイルレベルの予測を統合したハイブリッドモデルの開発が、精度と迅速性の両方を向上させる可能性を示唆している。