[論文レビュー] UFTR: A Unified Framework for Ticket Routing

Jianglei Han, Jing Li+1 more|arXiv (Cornell University)|Mar 2, 2020

Multimedia Communication and Technology参考文献 34被引用数 5

ひとこと要約

本稿では、チケット、グループ、チケット-グループ（TG）、グループ-グループ（GG）の4つの特徴タイプを統合的にモデル化することで、初期グループ割り当てとグループ間転送を同時に扱う統合的エンドツーエンドフレームワークUFTRを提案する。実験の結果、UFTRはベースラインを著しく上回り、特にTG特徴が最も重要であることが判明し、リゾルバ同定のトップ5ヒットレートは0.976に達した。

ABSTRACT

Corporations today face increasing demands for the timely and effective delivery of customer service. This creates the need for a robust and accurate automated solution to what is formally known as the ticket routing problem. This task is to match each unresolved service incident, or "ticket", to the right group of service experts. Existing studies divide the task into two independent subproblems - initial group assignment and inter-group transfer. However, our study addresses both subproblems jointly using an end-to-end modeling approach. We first performed a preliminary analysis of half a million archived tickets to uncover relevant features. Then, we devised the UFTR, a Unified Framework for Ticket Routing using four types of features (derived from tickets, groups, and their interactions). In our experiments, we implemented two ranking models with the UFTR. Our models outperform baselines on three routing metrics. Furthermore, a post-hoc analysis reveals that this superior performance can largely be attributed to the features that capture the associations between ticket assignment and group assignment. In short, our results demonstrate that the UFTR is a superior solution to the ticket routing problem because it takes into account previously unexploited interrelationships between the group assignment and group transfer problems.

研究の動機と目的

• 初期割り当てとグループ間転送を別々の問題として扱う従来の2段階アプローチの限界を解消すること。
• 大規模なサポートシステムにおけるチケット内容、エキスパートグループの特徴、ルーティングダイナミクスの相乗的相互作用を調査すること。
• チケットとエキスパートグループの両方の個別的および相互的特徴を捉える、統合的かつ拡張可能なフレームワークの開発。
• チケット割り当てとグループ転送の間でこれまで無視されてきた相互作用をモデル化することで、ルーティング精度の向上を図ること。

提案手法

• チケット-グループペアのマッチングスコアを計算する統合フレームワークUFTRを提案。4つの特徴タイプ（チケット（T）、グループ（G）、チケット-グループ（TG）、グループ-グループ（GG））を用いる。
• 内容の明確さ、グループ階層、リゾルバ確率、遷移パターンを含む、50万件のアーカイブ済みチケットから特徴を抽出。
• 4つの特徴タイプを用いて、ポイントワイズおよびリストワイズのランキングモデルを実装し、最適なグループ割り当てを予測。
• ランダムフォレスト回帰器を用いて特徴の重要度を評価し、TG特徴が最も影響力が大きいことを特定。
• 1つの特徴タイプを順次除外することでアブレーションスタディを実施し、ルーティング性能への寄与度を評価。
• 意味的および確率的相互作用を捉えるために、クエリ尤度モデル（QLM）、BM25、コサイン類似度（cos_ent, cos_emb）を活用。

実験結果

リサーチクエスチョン

• RQ1 チケットとエキスパートグループの相互作用は、個別的な特徴と比較して、ルーティング性能にどのように影響を与えるか？
• RQ2 初期割り当てとグループ間転送を統合的にモデル化することで、2段階アプローチに比べて、どの程度ルーティング精度が向上するか？
• RQ3 チケット、グループ、TG、GGのうち、どの特徴タイプがモデルの予測性能に最も寄与しているか？
• RQ4 ルーティングシーケンスの長さは、正しいリゾルバグループを同定するモデルの能力にどのように影響するか？
• RQ5 ネットワークレベルの構造的特徴（例：グループ階層、遷移確率）は、大規模なサポートシステムにおけるルーティング精度を向上させることができるか？

主な発見

• UFTRフレームワークは、3つのルーティング評価指標においてすべてのベースラインを上回り、最も挑戦的なテストセット（S1）においてトップ5ヒットレート0.976を達成した。
• チケット-グループ（TG）特徴を除外すると、性能の低下が最も顕著に現れ、トップ1ヒットレートは0.290に低下した。これはTG特徴が最も重要であることを示している。
• リストワイズランキングモデルはポイントワイズモデルをわずかに上回り、順序を直接モデル化することで性能が向上することが示唆された。
• ランダムフォレスト回帰器では、QLM（クエリ尤度モデル）が最も重要な特徴（重要度0.351）と評価され、次にP(g|τ)（条件付きグループ確率）が0.273と続いた。
• グループレベルの特徴（GおよびGG）は全体的な寄与度が低く、その中でもリゾルバ確率とVMS遷移確率が最も影響力が大きかった。
• 長いルーティングシーケンス（例：S4）は、短いシーケンス（S2, S3）よりも高いトップ1ヒットレートを示し、より長いパスに識別に有用なルーティング信号が含まれている可能性があることが示唆された。