[논문 리뷰] A Measure for Dialog Complexity and its Application in Streamlining Service Operations

Q. Vera Liao, Biplav Srivastava외 1명|arXiv (Cornell University)|2017. 08. 04.

Speech and dialogue systems참고 문헌 15인용 수 6

한 줄 요약

이 논문은 다수의 도메인에서 고객 서비스 상호작용의 특정성과 구조적 복잡성을 정량화하기 위해 데이터 기반 대화 복잡도 측정법을 도입한다. 도메인 특화 용어와 대화 구조를 분석함으로써, 이 방법은 자동화된 복잡도 점수를 가능하게 하여 에이전트 평가 향상과 서비스 운영 최적화를 도모한다 — 특히 더 복잡한 요청을 처리하는 에이전트를 공정하게 보상하는 데 유의미한 성과를 보인 신규 측정법을 통해 입증된다.

ABSTRACT

Dialog is a natural modality for interaction between customers and businesses in the service industry. As customers call up the service provider, their interactions may be routine or extraordinary. We believe that these interactions, when seen as dialogs, can be analyzed to obtain a better understanding of customer needs and how to efficiently address them. We introduce the idea of a dialog complexity measure to characterize multi-party interactions, propose a general data-driven method to calculate it, use it to discover insights in public and enterprise dialog datasets, and demonstrate its beneficial usage in facilitating better handling of customer requests and evaluating service agents.

연구 동기 및 목표

• 고객 서비스 상호작용에서 요청의 특정성과 구조적 요구를 모두 반영하는 확장 가능하고 데이터 기반의 대화 복잡도 측정법을 개발하는 것.
• 서비스 제공자가 운영 의사결정 향상을 위해 일상적 대화와 복잡한 서비스 대화를 구분할 수 있도록 돕는 것.
• 기존의 만족도 기반 지표를 초월하여 대화 복잡도가 에이전트 할당 및 평가 최적화에 어떻게 기여하는지 입증하는 것.
• 다양한 서비스 도메인에서 대화 복잡도를 계산할 수 있도록 공개된 API를 제공하여 실세계 적용을 촉진하는 것.

제안 방법

• 대화 복잡도 측정법은 발화, 턴, 전체 대화의 세 수준에서 도메인 특화 용어 집중도와 대화 구조를 핵심 특징으로 사용하여 계산된다.
• 도메인 특화 용어 탐지를 위한 자연어 처리 기법을 활용한 복잡도 계산을 자동화하는 시스템 아키텍처가 제안된다.
• 복잡도 점수는 어휘의 특정성(예: 드문 또는 도메인 특화 용어)과 구조적 복잡도(예: 턴 수, 요청 깊이)의 가중 조합으로 도출된다.
• 높은 값일수록 더 높은 복잡도를 의미하는 정규화된 점수 함수를 사용하며, 테스트된 모든 도메인에서 점수 범위는 0에서 1 사이이다.
• 고객 만족도를 대화 복잡도와 지속 시간에 따라 가중하는 새로운 에이전트 평가 지표 ω₃을 도입하여 성과 비교의 공정성을 향상시킨다.
• 이 방법은 우분투 지원, 보험, 인사, 레스토랑 예약의 네 도메인에서 확보한 공개 및 기업 전용 대화 데이터셋을 사용하여 검증되었다.

실험 결과

연구 질문

• RQ1 서비스 상호작용에서 요청의 특정성과 구조적 요구를 반영하기 위해 대화 복잡도를 어떻게 정량적으로 측정할 수 있는가?
• RQ2 제안된 복잡도 측정법이 다양한 서비스 도메인 간 고객 상호작용의 다양성을 어느 정도 잘 반영하는가?
• RQ3 대화 복잡도를 고려할 경우 서비스 운영에서 에이전트 평가의 공정성과 정확도는 어떻게 향상되는가?
• RQ4 대화 복잡도를 활용하여 컨택센터의 서비스 라우팅 및 자원 할당을 최적화할 수 있는가?
• RQ5 다양한 유형의 대화를 처리할 때 복잡도 인지 평가가 에이전트 성과를 어떻게 구분하는 데 기여하는가?

주요 결과

• 대화 복잡도 측정법은 다양한 서비스 도메인 간 복잡도의 상당한 변동성을 성공적으로 반영하였으며, 발화 수준에서 점수 범위는 0.25에서 1.0까지 다양했다.
• 모의 실험에서 제안된 복잡도 인지 지표 ω₃는 기존 지표 ω₁과 ω₂와 달리 복잡한 대화를 처리할 때 에이전트 성과의 의미 있는 차이를 드러냈다.
• 고객 만족도(φ)가 동일한 상황에서도 복잡도가 높은 대화를 처리한 에이전트는 유의미하게 높은 ω₃ 점수를 기록했으며, 이는 지표가 복잡도 처리 능력을 공정하게 보상할 수 있음을 보여준다.
• 예를 들어 레스토랑 도메인에서 가장 복잡한 대화를 처리한 에이전트는 0.601의 ω₃ 점수를 기록했고, 가장 복잡도가 낮은 에이전트는 0.460의 점수를 기록했으며, 고객 만족도는 동일했다.
• 이 방법은 도메인 간 강건성을 입증하였으며, 복잡도 점수는 기술 지원 질의(시스템 명령어 포함)와 단순 문의 간 실제 요청 난이도의 차이를 잘 반영하였다.
• 연구는 대화 복잡도가 서비스 운영에서 핵심적 요소임을 확인하였으며, 평가에서 이를 忽시할 경우 공정하거나 오해의 소지가 있는 성과 평가가 초래된다는 점을 입증한다.