[論文レビュー] A Measure for Dialog Complexity and its Application in Streamlining Service Operations

Q. Vera Liao, Biplav Srivastava+1 more|arXiv (Cornell University)|Aug 4, 2017

Speech and dialogue systems参考文献 15被引用数 6

ひとこと要約

本論文では、複数のドメインにまたがるカスタマーサービス対話の特異性と構造的複雑さを定量化するデータ駆動型対話複雑性測定法を導入する。ドメイン固有の用語と対話構造を分析することで、自動化された複雑性スコアリングが可能となり、エージェント評価とサービス運用最適化が向上する—特に、より複雑なリクエストを処理するエージェントに公平に報いる新しい指標によって実証された。

ABSTRACT

Dialog is a natural modality for interaction between customers and businesses in the service industry. As customers call up the service provider, their interactions may be routine or extraordinary. We believe that these interactions, when seen as dialogs, can be analyzed to obtain a better understanding of customer needs and how to efficiently address them. We introduce the idea of a dialog complexity measure to characterize multi-party interactions, propose a general data-driven method to calculate it, use it to discover insights in public and enterprise dialog datasets, and demonstrate its beneficial usage in facilitating better handling of customer requests and evaluating service agents.

研究の動機と目的

• カスタマーサービス対話におけるリクエストの特異性と構造的要請の両方を捉える、スケーラブルでデータ駆動型の対話複雑性測定法を開発すること。
• サービスプロバイダーが日常的でない複雑なサービス対話を区別できるようにし、運用意思決定を向上させること。
• 従来の満足度ベースの指標を超えて、対話複雑性がエージェントの割り当てと評価最適化にどのように役立つかを示すこと。
• 多様なサービスドメインで対話複雑性を計算可能な公開APIを提供することにより、実世界への導入を促進すること。

提案手法

• 対話複雑性測定は、発話レベル、ターンレベル、全体対話レベルの3段階で実施され、ドメイン固有用語の濃度と対話構造を主な特徴として用いる。
• ドメイン固有用語の同定に自然言語処理技術を活用した、複雑性計算を自動化するためのシステムアーキテクチャを提案する。
• 複雑性スコアは、語彙的特異性（例：希少語やドメイン固有語）と構造的複雑さ（例：ターン数、リクエストの深さ）の重み付き組み合わせとして導出される。
• スコアは正規化関数を用い、高い値がより高い複雑さを示す。テストされたドメイン全体でスコアは0から1の範囲に収まる。
• 顧客満足度を対話複雑性と継続時間で重み付けする新しいエージェント評価指標ω₃を導入し、より公平なパフォーマンス比較を可能にする。
• 本手法は、Ubuntuサポート、保険、人事、レストラン予約の4つのドメインから得た公的および非公開の対話データセットを用いて検証された。

実験結果

リサーチクエスチョン

• RQ1 サービス対話における対話複雑性を、リクエストの特異性と構造的要請を反映する形で定量的に測定する方法は何か？
• RQ2 提案された複雑性測定法は、異なるサービスドメインにおける顧客対話の変動をどの程度適切に捉えられるか？
• RQ3 対話複雑性を考慮に入れることで、サービス運用におけるエージェント評価の公平性と正確性はどの程度向上するか？
• RQ4 対話複雑性は、コールセンタでのサービスルーティングとリソース割り当て最適化に利用可能か？
• RQ5 複雑さに配慮した評価は、多様な対話タイプを処理する際のエージェントパフォーマンスの差をどの程度明確にできるか？

主な発見

• 対話複雑性測定法は、異なるサービスドメインにおける複雑さの顕著な変動を適切に捉えており、発話レベルでのスコアは0.25から1.0の範囲で変動した。
• シミュレーション実験では、従来の指標ω₁とω₂とは異なり、提案された複雑さに配慮した指標ω₃が、複雑な対話を処理する際のエージェントパフォーマンスに有意な差を示した。
• 顧客満足度（φ）が一定であっても、より高い複雑性の対話を処理するエージェントは、有意に高いω₃スコアを獲得した。これは、この指標が複雑さの処理に報いる能力を示している。
• 例えば、レストランドメインでは、最も複雑な対話を処理したエージェントのω₃スコアは0.601であったのに対し、最も単純な対話を処理したエージェントは0.460であったが、顧客満足度は同一であった。
• 本手法はドメインを問わず高い頑健性を示し、システムコマンドを含む技術的サポート要請と単純な問い合わせの間の実世界の難易度差をスコアが適切に反映した。
• 本研究は、対話複雑性がサービス運用において重要な要因であることを確認しており、評価においてこれを無視すると、不公平または誤解を招くパフォーマンス評価につながる可能性がある。