[논문 리뷰] Message Classification in the Call Center

Stephan Busemann, Sven Schmeier외 1명|ArXiv.org|2000. 03. 14.

Spam and Phishing Detection참고 문헌 13인용 수 4

한 줄 요약

이 논문은 얕은 텍스트 처리와 통계적 학습 기법을 사용하여 콜 센터의 고객 이메일을 분류하는 기계학습 기반 시스템을 제시한다. ICC-mail 시스템은 정상적인 솔루션 제안 중 상위 다섯 개 안에 포함될 경우 78%의 정확도를 달성하여, 자동 분류 및 솔루션 검색을 통해 숙련된 에이전트가 요청당 소요 시간을 줄이고 성능을 두 배로 높일 수 있도록 한다.

ABSTRACT

Customer care in technical domains is increasingly based on e-mail communication, allowing for the reproduction of approved solutions. Identifying the customer's problem is often time-consuming, as the problem space changes if new products are launched. This paper describes a new approach to the classification of e-mail requests based on shallow text processing and machine learning techniques. It is implemented within an assistance system for call center agents that is used in a commercial setting.

연구 동기 및 목표

• 고객 이메일 요청의 분류를 자동화하여 콜 센터 에이전트의 업무 부담을 줄이기 위해.
• 사전 승인된 솔루션 블록을 제안하여 더 빠르고 일관성 있는 응답 생성을 가능하게 하기 위해.
• 새로운 제품이나 규정으로 인한 카테고리의 동적 변경을 위해 깊은 언어 모델링을 요구하지 않도록 하기 위해.
• 새로운 데이터로 재학습할 수 있는 능력이 있어 시간이 지남에 따라 향상되는 확장 가능한 학습 가능한 시스템을 개발하기 위해.
• 실제 콜 센터 워크플로우에 높은 사용성과 통합성을 유지하기 위해.

제안 방법

• 시스템은 독일어 이메일 텍스트에서 품사 태그, 어간 추출, 否정 표현, 문장 유형 등의 언어적 특징을 추출하기 위해 얕은 텍스트 처리(STP)를 적용한다.
• 통계적 기계학습(SML) 기법을 사용하여 레이블이 부여된 이메일 데이터를 기반으로 분류기를 학습시키며, 메시지를 사전 정의된 솔루션 카테고리에 매핑한다.
• 분류기는 새로운 데이터와 카테고리를 사용하여 주기적으로 재학습('재학습')되며, 변화하는 문제 영역에 적응할 수 있도록 한다.
• 세 단계의 카테고리 체계를 사용하며, 신규 카테고리는 지식 엔지니어가 도입하고 수동으로 분류되어 충분한 학습 데이터가 확보될 때까지 유지된다.
• 시스템은 에이전트가 선택하고 맞춤 설정할 수 있는 최상위 솔루션 제안을 제시하는 그래픽 사용자 인터페이스와 통합되어 있다.
• 깊은 문법적 또는 의미적 분석을 피함으로써, 비공식적이고 도메인 특화된 이메일 커뮤니케이션 환경에서 효율성과 적응성을 높인다.

실험 결과

연구 질문

• RQ1 얕은 텍스트 처리와 통계적 학습이 동적인 콜 센터 환경에서 비공식적이고 도메인 특화된 이메일을 효과적으로 분류할 수 있는가?
• RQ2 새로운 제품 관련 카테고리가 도입될 경우 시스템은 정확도를 유지할 수 있는가?
• RQ3 자동 분류가 에이전트의 응답 시간을 얼마나 줄이고 솔루션의 일관성을 얼마나 향상시킬 수 있는가?
• RQ4 문서 길이, 비공식적 언어, 형태소 변형이 분류 성능에 어떤 영향을 미치는가?
• RQ5 점진적인 데이터로 인해 재학습이 분류기 정확도를 시간이 지남에 따라 어떻게 향상시키는가?

주요 결과

• ICC-mail 시스템은 상위 다섯 개의 추천 솔루션 중 정답을 제안할 때 78%의 정확도를 달성하며, 들어오는 이메일의 94%를 처리하기 때문에 총 성능은 73%에 해당한다.
• 숙련된 에이전트는 시스템을 사용할 경우 요청당 평균 50~70초 내로 처리할 수 있으며, 수동 처리 대비 성능을 약 두 배로 높일 수 있다.
• 각 재학습 사이클이 진행될수록 분류기 정확도가 향상되며, 특히 새로운 카테고리에 대해 30건의 수동 분류된 문서가 추가된 후에 두드러진 향상이 관찰된다.
• 시스템은 실제 환경에 배포 가능하며, 사용자들이 실시간 조건에서도 인터페이스와 기능을 수용하고 있다.
• 이 방법은 확장 가능하고 변화하는 카테고리에 적응 가능하며, 주기적인 재훈련을 통해 지속적인 유지보수를 지원한다.
• GermaNet과의 초기 통합은 의미적 특징 향상에 유망한 전망을 보이고 있으나, 전체 탐색은 진행 중이다.