[논문 리뷰] Towards Real-time Customer Experience Prediction for Telecommunication Operators

Ernesto Diaz-Aviles, Fabio Pinelli외 8명|arXiv (Cornell University)|2015. 08. 12.

Customer churn and segmentation참고 문헌 12인용 수 4

한 줄 요약

이 논문은 익명화된 모바일 네트워크 거래 데이터를 기반으로 훈련된 제한된 랜덤 포레스트 모델을 사용하여 통신 사업자에게 실시간 고객 경험 예측 시스템을 제안한다. 이는 고객 서비스에 전화를 걸지 여부를 예측함으로써 열악한 경험을 대체 지표로 활용한다. 이 방법은 유망한 예측 성능를 달성하여 사전 문제 탐지 및 향상된 고객 서비스를 가능하게 하며 이는 이탈률 감소 잠재력을 지닌다.

ABSTRACT

Telecommunications operators (telcos) traditional sources of income, voice and SMS, are shrinking due to customers using over-the-top (OTT) applications such as WhatsApp or Viber. In this challenging environment it is critical for telcos to maintain or grow their market share, by providing users with as good an experience as possible on their network. But the task of extracting customer insights from the vast amounts of data collected by telcos is growing in complexity and scale everey day. How can we measure and predict the quality of a user's experience on a telco network in real-time? That is the problem that we address in this paper. We present an approach to capture, in (near) real-time, the mobile customer experience in order to assess which conditions lead the user to place a call to a telco's customer care center. To this end, we follow a supervised learning approach for prediction and train our 'Restricted Random Forest' model using, as a proxy for bad experience, the observed customer transactions in the telco data feed before the user places a call to a customer care center. We evaluate our approach using a rich dataset provided by a major African telecommunication's company and a novel big data architecture for both the training and scoring of predictive models. Our empirical study shows our solution to be effective at predicting user experience by inferring if a customer will place a call based on his current context. These promising results open new possibilities for improved customer service, which will help telcos to reduce churn rates and improve customer experience, both factors that directly impact their revenue growth.

연구 동기 및 목표

• 기존 네트워크 데이터를 활용하여 통신 사업자에게 실시간 고객 경험 예측을 가능하게 하기 위해.
• 초기 대량의 고속도로 이동 데이터 스트림에서 시의적절한 고객 인사이트를 추출하는 데 도전하는 것.
• 설문 조사에 의존하지 않고 고객 서비스 통화 이벤트를 열악한 사용자 경험의 대체 지표로 사용하기 위해.
• 핵심 요인들이 사용자 불만을 이끄는지를 식별할 수 있는 확장 가능하고 해석 가능한 기계 학습 모델을 개발하기 위해.
• 광범위한 불만 발생 이전에 잠재적 문제를 사전에 탐지함으로써 수동적인 고객 서비스를 지원하기 위해.

제안 방법

• 다운로드 속도, 재전송 비율, 앱 유형, 기기 모델, 시간대 등의 네트워크 거래 특성을 입력 특성으로 사용하여 제한된 랜덤 포레스트(RRF) 모델을 훈련한다.
• 이진 분류 작업에서 고객 서비스 통화 이벤트를 양성 레이블로 사용하며, 통화 이전의 모든 거래를 열악한 경험을 나타내는 것으로 간주한다.
• 이중 접근 방식을 적용한다: (I) 원시 데이터 스트림을 사용한 거래 수준의 예측, (II) 집계된 사용자 프로필을 사용한 사용자 프로필 수준의 예측.
• 결정 트리의 해석 가능성 기능을 활용하여 사용자 경험에 영향을 주는 핵심 성능 지표(KPI)와 애플리케이션 기반 문제를 식별한다.
• 실제 통신 사업자 환경에 구현된 새로운 아키텍처를 사용하여 실시간 스코어링 및 모델 훈련을 위한 빅데이터 파이프라인을 구현한다.
• 최종 예측을 위해 트리 간 다수결 투표를 사용하고, 기능 중요도 분석을 통해 실행 가능한 인사이트를 도출한다.

실험 결과

연구 질문

• RQ1 네트워크 성능 지표와 사용자 맥락을 사용하여 사용자가 곧바로 고객 서비스에 전화를 걸 가능성이 있는지를 예측할 수 있는가?
• RQ2 고객 서비스 기록을 악성 경험의 대체 지표로 사용하는 지도 학습 접근 방식이 실시간으로 얼마나 효과적인가?
• RQ3 제한된 랜덤 포레스트 모델이 통신 사업자에게 높은 예측 성능와 동시에 해석 가능성을 제공할 수 있는가?
• RQ4 실시간 예측이 대규모 사용자 집단에 영향을 주기 전에 네트워크 문제를 얼마나 효과적으로 식별할 수 있는가?
• RQ5 거래 수준 모델링과 프로필 수준 모델링의 다양한 접근 방식이 사용자 경험의 역학을 얼마나 잘 포착하는가?

주요 결과

• 제안된 방법은 유망한 성능로 고객 서비스 통화를 성공적으로 예측하여 실시간 경험 모니터링의 가능성성을 입증한다.
• 모델는 애플 맵스의 재전송 비율에 대한 특정 문제를 식별하여 고객 서비스 통화 급증과 상관관계를 보였으며, 이는 실제 네트워크 문제 탐지 능력을 확인한다.
• 방법 II는 집계된 사용자 프로필을 사용하여 애플리케이션 기반 문제를 탐지하고 루트 케이스에 대한 설명 가능한 인사이트를 제공했다.
• 모델의 재현율 향상은 통화를 걸 가능성이 높은 사용자를 더 잘 탐지할 수 있음을 시사하지만, 정밀도는 여전히 낮아 거짓 긍정이 다수 존재함을 의미한다.
• 고객 서비스 통화를 악성 경험의 대체 지표로 사용하는 것이 효과적이었으며, 설문 조사 피드백보다 훨씬 더 풍부하고 수동 개입에 실질적인 활용이 가능하다.
• 향후 연구에서는 거래 수준과 프로필 수준 예측을 융합한 하이브리드 모델을 통해 정확도와 시기적절성을 향상시킬 잠재력이 있다.