[論文レビュー] A System for Human-AI collaboration for Online Customer Support

Debayan Banerjee, Mathis Poser+5 more|arXiv (Cornell University)|Jan 28, 2023

AI in Service Interactions被引用数 5

ひとこと要約

本論文は、オンラインカスタマーサポートにおけるリアルタイム人間-AI協働システムを提示する。AIエージェントは人間エージェントの会話に受動的に耳を傾け、エージェントにのみ表示される関連FAQの提案を行う。ドイツ語の学生問い合わせデータセットを用いた評価では、システムはエージェントの作業負荷を顕著に低減した。FAQ提案のMRRが0.5以上に達し、1対話あたり平均6件の提案が使用された一方で、効果的な「提案なし」検出によりノイズを低く抑え、高い精度を維持した。

ABSTRACT

AI enabled chat bots have recently been put to use to answer customer service queries, however it is a common feedback of users that bots lack a personal touch and are often unable to understand the real intent of the user's question. To this end, it is desirable to have human involvement in the customer servicing process. In this work, we present a system where a human support agent collaborates in real-time with an AI agent to satisfactorily answer customer queries. We describe the user interaction elements of the solution, along with the machine learning techniques involved in the AI agent.

研究の動機と目的

• 人間エージェントを置き換えるのではなく、認知的負荷と応答時間を低減することを目的としたハイブリッド人間-AIシステムの開発。
• 直接ユーザーに干渉しない受動的AIエージェントの設計。人間エージェントの会話に耳を傾け、適切なタイミングでのみ関連FAQを提示し、不要な干渉を回避する。
• ボランティア団体で学生の問い合わせを担当する実際の人間エージェントに対する、システムの使いやすさと影響の評価。
• FAQ提案と「提案なし」の両方の性能を最適化し、ノイズと誤検出を最小限に抑えるためにAIモデルをキャリブレーションすること。
• 将来のオンライン学習のためのフィードバックメカニズムを改善し、人間エージェントの修正に基づいてAIモデルが段階的に適応可能にする。

提案手法

• ReactJSとFlaskを用いたウェブベースのUIにより、人間エージェントとAIとのリアルタイム対話が可能。チャットインターフェースはRocket.Chatを基盤としている。
• AIエージェントは機械学習モデルを用いて会話の文脈に基づきFAQをランク付けし、上位2件を表示し、残りの4件は「破棄」ボタンからアクセス可能。
• エージェントが検索キーワードを提出して会話と関連するFAQにリンクできるフィードバック機能を備えるが、評価中はオンラインでのモデル再訓練には使用しなかった。
• AIモデルは関連FAQの提案と「提案なし」の両方を予測するように訓練され、両クラスの性能はMRR@10を用いて評価された。
• 183件のドイツ語会話データが収集され、FAQ IDが付与されたアノテーションが施され、モデルの学習と評価の基盤となった。
• システムは二重評価アプローチを採用している：自動MRRに基づくモデル評価と、インタビューおよびスクリーン録画による定性的人間評価。

実験結果

リサーチクエスチョン

• RQ1 直接ユーザーに干渉しないAIエージェントは、どのようにリアルタイムカスタマーサポートにおける人間エージェントを支援できるか？
• RQ2 FAQ提案の正確性と「提案なし」性能の最適なバランスは何か。これによりエージェントの作業負荷とノイズを最小限に抑えることができるか？
• RQ3 人間エージェントは、現実のサポートシナリオにおいてAI駆動のFAQ提案の使いやすさと有用性をどのように認識しているか？
• RQ4 このシステムは、エージェントが正しい応答を特定・提供するために必要な時間と労力をどの程度削減するか？
• RQ5 人間エージェントからのフィードバックは、AIモデルに効果的に統合され、長期的なパフォーマンス向上に寄与できるか？

主な発見

• 人間エージェントは1対話あたり平均6件のFAQ提案を使用しており、18名中17名が「チャットにコピー」ボタンを3回以上使用した。これは、システムへの高い関与度を示している。
• エージェントは送信前に平均2件の提案内容を編集しており、AIが有用な出発点を提供しているが、カスタマイズの余地も残していることが示された。
• 「もっと情報」ボタンは平均3.7回の使用を記録し、短縮版（平均2.6回）よりも頻繁に使われた。これは、意思決定に詳細な文脈が必要とされていることを示している。
• エージェントは1対話あたり平均15回「破棄」ボタンをクリックしており、代替の提案を積極的に探索し、推薦インターフェースに高い関与を見せていることがうかがえる。
• AIモデルはFAQクラスでMRRが0.5以上を達成しており、正しいFAQが通常1位または2位にランク付けされていることを意味し、検索時間の顕著な短縮が実現した。
• 「提案なし」クラスのパフォーマンスは極めて重要であった。MRRが1.0に近い高い値を維持する必要があり、そうでなければ不要な提案でエージェントが混乱する恐れがあった。これは、沈黙検出の重要性を強調している。