[논문 리뷰] Data Mining Approach for Analyzing Call Center Performance

Marcin Paprzycki, Ajith Abraham외 1명|ArXiv.org|2004. 05. 05.

Data Mining Algorithms and Applications참고 문헌 8인용 수 24

한 줄 요약

이 논문은 대규모 보험사의 성과 지표를 활용하여 콜 센터 서비스 품질을 예측하기 위한 데이터 마이닝 프레임워크를 제안한다. 선형 및 다층 신경망, 확률적 신경망, 의사결정나무, 서포트 벡터 머신, 하이브리드 트리-신경망 모델의 6가지 기법을 평가하여 하이브리드 접근 방식이 정확도와 입력 민감도 분석에서 다른 기법들을 능가함을 입증하며, 성과 향상을 위한 실질적인 통찰을 제공한다.

ABSTRACT

The aim of our research was to apply well-known data mining techniques (such as linear neural networks, multi-layered perceptrons, probabilistic neural networks, classification and regression trees, support vector machines and finally a hybrid decision tree neural network approach) to the problem of predicting the quality of service in call centers; based on the performance data actually collected in a call center of a large insurance company. Our aim was two-fold. First, to compare the performance of models built using the above-mentioned techniques and, second, to analyze the characteristics of the input sensitivity in order to better understand the relationship between the perform-ance evaluation process and the actual performance and in this way help improve the performance of call centers. In this paper we summarize our findings.

연구 동기 및 목표

• 다양한 데이터 마이닝 기법이 콜 센터 서비스 품질 예측에 얼마나 효과적인지 평가하고 비교하는 것.
• 예측 모델의 입력 민감도를 분석하여 운영 지표와 서비스 결과 간의 관계를 이해하는 것.
• 서비스 품질 예측에 가장 영향을 미치는 핵심 성과 지표를 특정하는 것.
• 콜 센터 운영 향상을 위한 데이터 기반 의사결정 지원하는 것.
• 실세계 콜 센터 성과 모니터링에 적합한 강력하고 해석 가능한 모델을 개발하는 것.

제안 방법

• 연구는 대규모 보험사의 콜 센터에서 수집한 실세계 성과 데이터를 사용한다.
• 6가지 데이터 마이닝 기법을 적용한다: 선형 신경망, 다층 퍼셉트론, 확률적 신경망, 분류 및 회귀 트리, 서포트 벡터 머신, 하이브리드 의사결정나무-신경망 모델.
• 모델들은 통화 처리 시간, 기다림 비율, 서비스 수준 등의 이전 콜 센터 지표를 사용하여 훈련 및 검증한다.
• 모델 성능은 예측 정확도와 입력 민감도 분석 기반으로 평가된다.
• 입력 민감도 분석은 출력 예측에 가장 영향을 미치는 성과 변수를 특정한다.
• 하이브리드 모델은 설명 가능성을 위한 의사결정나무 구조와 정확도를 위한 신경망 학습을 결합한다.

실험 결과

연구 질문

• RQ1 어느 데이터 마이닝 기법이 콜 센터 서비스 품질 예측에서 가장 높은 정확도를 달성하는가?
• RQ2 다른 모델들은 입력 성과 지표의 변동에 어떻게 반응하는가?
• RQ3 서비스 결과 예측에 가장 민감하고 영향력 있는 성과 지표는 무엇인가?
• RQ4 하이브리드 모델은 정확도를 향상시키면서도 설명 가능성을 유지할 수 있는가?
• RQ5 입력 민감도 분석으로부터 도출된 통찰은 어떻게 운영 개선을 이끄는가?

주요 결과

• 하이브리드 의사결정나무-신경망 모델이 평가된 모든 기법 중에서 가장 높은 예측 정확도를 기록했다.
• 입력 민감도 분석을 통해 통화 기다림 비율과 서비스 수준이 서비스 품질 예측에 가장 영향을 미치는 주요 예측 변수로 확인되었다.
• 서포트 벡터 머신과 다층 퍼셉트론은 뛰어난 성능를 보였지만, 하이브리드 모델만큼 해석 가능성은 떨어졌다.
• 확률적 신경망과 선형 모델은 데이터셋에서 효과적으로 작동하지 않아 복잡한 관계를 포착하는 데 한계가 있음을 시사했다.
• 분류 및 회귀 트리는 뛰어난 해석 가능성을 제공했지만, 신경망 기반 모델들에 비해 정확도는 낮았다.
• 연구는 설명 가능성을 갖춘 예측 능력을 결합함으로써 실세계 콜 센터 관리에서 실용적 유용성이 향상됨을 확인했다.