[論文レビュー] Message Classification in the Call Center

Stephan Busemann, Sven Schmeier+1 more|ArXiv.org|Mar 14, 2000

Spam and Phishing Detection参考文献 13被引用数 4

ひとこと要約

本論文では、浅層的テキスト処理と統計的機械学習技術を用いて、コールセンタの顧客メールを分類する機械学習ベースのシステムであるICC-mailを提示する。ICC-mailは、正解の解決策を上位5件の提案の中で78%の正確度で提示でき、熟練したエージェントが自動分類と解決策の検索により1件あたりの処理時間を短縮することで、作業効率を2倍に向上させられる。

ABSTRACT

Customer care in technical domains is increasingly based on e-mail communication, allowing for the reproduction of approved solutions. Identifying the customer's problem is often time-consuming, as the problem space changes if new products are launched. This paper describes a new approach to the classification of e-mail requests based on shallow text processing and machine learning techniques. It is implemented within an assistance system for call center agents that is used in a commercial setting.

研究の動機と目的

• 顧客メールの要請を自動分類することで、コールセンターエージェントの作業負荷を軽減すること。
• 事前に承認された解決策のブロックを提示することで、より迅速かつ一貫性のある応答生成を可能にすること。
• 新しい製品や規制の導入に伴う動的なカテゴリ変更に対応できるように、深層的な言語的モデリングを必要としないこと。
• 新しいデータで再学習可能なスケーラブルでトレーニング可能なシステムを構築し、時間の経過とともに改善されること。
• 現実のコールセンターワークフローに統合可能で、高い使いやすさを維持すること。

提案手法

• ドイツ語のメール本文に対して、品詞タグ、語幹、否定表現、文型などの言語的特徴を抽出するための浅層的テキスト処理（STP）を適用する。
• ラベル付きメールデータ上で統計的機械学習（SML）技術を用いて分類器を学習させ、メッセージを事前に定義された解決カテゴリにマッピングする。
• 新しいデータとカテゴリを用いて定期的に分類器を再学習（「再学習」）することで、変化する問題領域に適応する。
• 3段階のカテゴリシステムを採用し、新カテゴリは知識エンジニアによって導入され、十分な学習データが得られるまで手動で分類される。
• エージェントが選択およびカスタマイズ可能な上位の解決策提案を表示するグラフィカルユーザーインターフェースと統合する。
• 深い句構造的・意味的解析を避け、非公式でドメイン特化されたメールコミュニケーションにおいて、効率性と適応性を重視する。

実験結果

リサーチクエスチョン

• RQ1 浅層的テキスト処理と統計的機械学習は、動的なコールセンタ環境における非公式でドメイン特化されたメールを効果的に分類できるか？
• RQ2 新製品関連のカテゴリが導入された場合、システムは正確度をどのように維持できるか？
• RQ3 自動分類は、エージェントの応答時間をどの程度短縮し、解決策の一貫性をどの程度向上させられるか？
• RQ4 文書長、非公式な言語、語形変化の影響が、分類性能にどのように及ぶか？
• RQ5 逐次的なデータで再学習を繰り返すことで、分類器の正確度はどのように向上するか？

主な発見

• ICC-mailは、上位5件の提案の中から正解の解決策を提示する際、78%の正確度を達成しており、受信メールの94%を処理していることから、全体の性能は73%に相当する。
• 熟練エージェントが本システムを用いる場合、1件あたりの処理時間は平均50〜70秒にまで短縮され、手動処理に比べて作業効率が約2倍に向上する。
• 再学習サイクルを経るごとに分類器の正確度が向上し、特に新カテゴリに30件の手動分類データが追加された後で顕著な改善が見られる。
• 本システムは現実の現場環境でも導入可能であり、ユーザーがリアルタイム条件下でもインターフェースと機能を受け入れている。
• 本アプローチはスケーラブルで、変化するカテゴリに適応可能であり、定期的な再トレーニングにより継続的なメンテナンスが可能である。
• 初期段階でのGermaNetとの統合は、意味的特徴の強化に有望であるが、完全な調査は継続中である。