[論文レビュー] An Annotated Corpus of Relational Strategies in Customer Service

Ian Beaver, Cynthia Freeman+1 more|arXiv (Cornell University)|Aug 17, 2017

Customer Service Quality and Loyalty参考文献 15被引用数 3

ひとこと要約

本論文は、旅行および通信分野の3つのライブ知的バーチャルエージェント（IVAs）から収集した、商業的カスタマーサービス対話における関係的戦略の最初の公開可能でアノテート済みコーパスを紹介する。非必須の関係的言語（挨拶、正当化、感謝、不満の表明など）を特定・分類することで、IVAの意図理解が向上し、その言語を意図検出時に除外することで、信頼性が向上し、より良い応答が得られるようになる。

ABSTRACT

We create and release the first publicly available commercial customer service corpus with annotated relational segments. Human-computer data from three live customer service Intelligent Virtual Agents (IVAs) in the domains of travel and telecommunications were collected, and reviewers marked all text that was deemed unnecessary to the determination of user intention. After merging the selections of multiple reviewers to create highlighted texts, a second round of annotation was done to determine the classes of language present in the highlighted sections such as the presence of Greetings, Backstory, Justification, Gratitude, Rants, or Emotions. This resulting corpus is a valuable resource for improving the quality and relational abilities of IVAs. As well as discussing the corpus itself, we compare the usage of such language in human-human interactions on TripAdvisor forums. We show that removal of this language from task-based inputs has a positive effect on IVA understanding by both an increase in confidence and improvement in responses, demonstrating the need for automated methods of its discovery.

研究の動機と目的

• カスタマーサービス対話における関係的戦略にアノテートされた公開可能コーパスの不足に対処すること。
• 会話のタスクに関係のない言語（雑談、正当化、感情など）を特定・分離することで、知的バーチャルエージェント（IVAs）の意図理解を向上させること。
• 主なタスク意図と二次的な関係的意図を区別することで、対話システムにおけるより良いマルチ意図検出を可能にすること。
• トリバールのフォーラムを通じた人間同士の対話と人間-IVA対話における関係的言語の使用を比較し、戦略の転送可能性を評価すること。
• 関係的言語を除去することでIVAの信頼性と応答品質が向上することを実証し、自動検出手法の正当性を裏付けること。

提案手法

• 旅行および通信分野の3つのライブIVAsから、実際のカスタマーサービス対話を収集した。
• ウェブベースのアノテーションツールを用い、8名のレビュアーがユーザー意図の特定に必須でないテキストセグメントをマークした。
• 少なくとも2名のレビュアーが一致した場合に限って、コンSENSUS閾値を用いて非必須セグメントを統合した。
• 2回目のアノテーションフェーズでは、著者が各強調されたセグメントに関係的戦略タイプ（例：挨拶、感謝、不満の表明、正当化、感情、背景説明）をラベル付けした。
• マルチ意図検出技術を適用し、主なタスク意図を主な目的とし、関係的セグメントを二次的・非必須入力として扱った。
• IVA対話とトリバールフォーラムの投稿（人間同士の対話）における関係的戦略の使用パターンを比較し、類似点と相違点を評価した。

実験結果

リサーチクエスチョン

• RQ1 ユーザーは、IVAとの対話において、正当化、感謝、雑談などの関係的戦略をどのように使用しているか？
• RQ2 ユーザー入力に関係的言語が含まれている場合、IVAの意図理解と応答品質にどの程度悪影響を及ぼすか？
• RQ3 実世界のIVA対話から、関係的戦略をアノテートしたコーパスを効果的に構築できるか？
• RQ4 IVA対話における関係的言語の使用パターンは、トリバールのようなプラットフォームにおける人間同士の対話と比べて、どのように類似・相違するか？
• RQ5 関係的言語をフィルタリングすることで、タスク指向対話システムにおけるIVAの信頼性と応答正確性にどのような影響を与えるか？

主な発見

• 正当化、感謝、雑談などの関係的言語は、除外されない限り、IVAの信頼性と応答品質を著しく低下させる。
• 非必須の関係的セグメントを除去することで、IVAの意図検出の信頼性と応答正確性に顕著な改善が見られた。
• コーパスには1,200件のアノテート済み対話ターンと3,400件の強調された非必須セグメントが含まれており、それぞれ1つ以上の関係的戦略タイプにラベル付けされている。
• 「背景説明」や「正当化」のような関係的戦略は、タスク完了とは無関係であっても頻繁にユーザー入力に使用されていた。
• トリバールのユーザーは人間同士の対話でも同様の関係的戦略を使用しており、人間と人間-IVA間の対話に共通する会話パターンがあることが示唆された。
• 本研究では、IVAシステムにおける強固なマルチ意図検出を実現するには、関係的言語の自動検出が不可欠であることが実証された。