[논문 리뷰] UFTR: A Unified Framework for Ticket Routing

Jianglei Han, Jing Li외 1명|arXiv (Cornell University)|2020. 03. 02.

Multimedia Communication and Technology참고 문헌 34인용 수 5

한 줄 요약

이 논문은 네 가지 특징 유형인 티켓, 그룹, 티켓-그룹(TG), 그룹-그룹(GG)을 통합하여 초기 그룹 배정과 그룹 간 이관을 함께 모델링하는 통합 엔드 투 엔드 프레임워크인 UFTR를 제안한다. 실험 결과, UFTR는 베이스라인을 크게 능가하며, 특히 TG 특징이 가장 핵심적인 역할을 하여, 해답자 식별에서 상위 5위 정확도가 0.976에 이르렀다.

ABSTRACT

Corporations today face increasing demands for the timely and effective delivery of customer service. This creates the need for a robust and accurate automated solution to what is formally known as the ticket routing problem. This task is to match each unresolved service incident, or "ticket", to the right group of service experts. Existing studies divide the task into two independent subproblems - initial group assignment and inter-group transfer. However, our study addresses both subproblems jointly using an end-to-end modeling approach. We first performed a preliminary analysis of half a million archived tickets to uncover relevant features. Then, we devised the UFTR, a Unified Framework for Ticket Routing using four types of features (derived from tickets, groups, and their interactions). In our experiments, we implemented two ranking models with the UFTR. Our models outperform baselines on three routing metrics. Furthermore, a post-hoc analysis reveals that this superior performance can largely be attributed to the features that capture the associations between ticket assignment and group assignment. In short, our results demonstrate that the UFTR is a superior solution to the ticket routing problem because it takes into account previously unexploited interrelationships between the group assignment and group transfer problems.

연구 동기 및 목표

• 초기 할당과 그룹 간 이관을 별개 문제로 다루는 기존 이단계적 접근 방식의 한계를 해결한다.
• 대규모 지원 시스템에서 티켓 내용, 전문 그룹 특성, 라우팅 동역학 간의 상호작용을 탐구한다.
• 티켓과 전문 그룹 간의 개별적 및 상호작용적 특징을 모두 포괄하는 통합적이고 확장 가능한 프레임워크를 개발한다.
• 이전에 활용되지 않았던 할당과 그룹 이관 간의 상호작용을 모델링하여 라우팅 정확도를 향상시킨다.

제안 방법

• 티켓-그룹 쌍에 대한 매칭 점수를 계산하는 통합 프레임워크인 UFTR를 제안하며, 티켓(T), 그룹(G), 티켓-그룹(TG), 그룹-그룹(GG)의 네 가지 특징 유형을 사용한다.
• 내용 명확성, 그룹 계층 구조, 해답자 확률, 전이 패턴 등을 포함한 약 50만 건의 아카이브된 티켓에서 특징을 추출한다.
• 네 가지 특징 유형을 사용하여 점수 기반 및 리스트 기반 순위 모델을 구현하여 최적의 그룹 할당을 예측한다.
• 랜덤 포레스트 리그레서를 사용하여 특징 중요도를 평가하여 TG 특징이 가장 영향력이 크다는 것을 확인한다.
• 특징 유형을 하나씩 제거하면서 성능 기여도를 평가하기 위해 아블레이션 연구를 수행한다.
• 의미적 및 확률적 상호작용을 포착하기 위해 질의 가능성 모델링(QLM), BM25, 코사인 유사도(cos_ent, cos_emb)를 활용한다.

실험 결과

연구 질문

• RQ1 티켓과 전문 그룹 간의 상호작용은 고립된 특징 대비 라우팅 성능에 어떤 영향을 미치는가?
• RQ2 초기 할당과 그룹 간 이관을 동시에 모델링함으로써 이단계적 접근 방식에 비해 라우팅 정확도는 어느 정도 향상되는가?
• RQ3 티켓, 그룹, TG, GG 중 어떤 특징 유형이 모델의 예측 성능에 가장 크게 기여하는가?
• RQ4 라우팅 순서 길이가 모델이 정확한 해답자 그룹을 식별하는 데 미치는 영향은 어떠한가?
• RQ5 그룹 계층 구조, 전이 확률 등의 네트워크 수준의 구조적 특징이 대규모 지원 시스템에서 라우팅 정확도를 향상시키는가?

주요 결과

• UFTR 프레임워크는 세 가지 라우팅 평가 지표에서 모든 베이스라인을 압도적으로 능가하며, 가장 도전적인 테스트 세트(S1)에서 상위 5위 정확도가 0.976에 이르렀다.
• 티켓-그룹(TG) 특징을 제외할 경우 성능 저하가 가장 심각하여 상위 1위 정확도가 0.290로 떨어지며, TG 특징이 가장 핵심적임을 시사한다.
• 리스트 기반 순위 모델이 점수 기반 모델보다 약간 더 높은 성능을 보이며, 순위 순서를 직접 모델링함으로써 성능 향상이 가능함을 시사한다.
• 랜덤 포레스트 리그레서는 QLM(질의 가능성 모델)을 가장 중요한 특징(중요도 0.351)으로 평가하였고, 이어 P(g|τ)(조건부 그룹 확률)가 0.273의 중요도를 기록했다.
• 그룹 수준 특징(G 및 GG)은 전체 기여도가 낮은 편이지만, 해답자 확률과 VMS 전이 확률이 그 중에서 가장 영향력이 큰 특징으로 나타났다.
• 긴 라우팅 시퀀스(S4 등)는 짧은 시퀀스(S2, S3)보다 더 높은 상위 1위 정확도를 기록하여, 더 긴 경로가 더 구분력 있는 라우팅 신호를 포함할 수 있음을 시사한다.