[論文レビュー] Touch Your Heart: A Tone-aware Chatbot for Customer Care on Social Media

Tianran Hu, Anbang Xu+6 more|arXiv (Cornell University)|Mar 8, 2018

Digital Marketing and Social Media参考文献 5被引用数 39

ひとこと要約

本論文では、フォーマティブユーザー調査に基づき、特定の感情的トーン（特に共感的で情熱的なトーン）で応答を生成するための深層学習を用いたトーン対応型チャットボットを、ソーシャルメディアのカスタマーケアに提案する。人的な判断による評価において、このチャットボットは人的なエージェントと同等の適切さを示し、共感的であると感じられることから、トーン対応生成が自動カスタマーサービスにおけるユーザー体験を顕著に向上させることを示している。

ABSTRACT

Chatbot has become an important solution to rapidly increasing customer care demands on social media in recent years. However, current work on chatbot for customer care ignores a key to impact user experience - tones. In this work, we create a novel tone-aware chatbot that generates toned responses to user requests on social media. We first conduct a formative research, in which the effects of tones are studied. Significant and various influences of different tones on user experience are uncovered in the study. With the knowledge of effects of tones, we design a deep learning based chatbot that takes tone information into account. We train our system on over 1.5 million real customer care conversations collected from Twitter. The evaluation reveals that our tone-aware chatbot generates as appropriate responses to user requests as human agents. More importantly, our chatbot is perceived to be even more empathetic than human agents.

研究の動機と目的

• ソーシャルメディアのカスタマーケアにおける異なるトーンがユーザー体験に与える影響を調査すること。
• 共感的や情熱的といったトーンが、ユーザー満足度と関与度を最も高めるかを特定すること。
• 制御された感情的トーンで応答を生成できる深層学習ベースのチャットボットを設計・実装すること。
• トーン対応応答が人的な応答の質と共感性を同等または上回ることを評価すること。

提案手法

• 回帰分析を用いて、8つの特定されたトーン（例：共感的、情熱的、怒りっぽい）がユーザー体験に与える影響を分析するためのフォーマティブスタディを実施した。
• Twitterから収集した150万件を超える実際のカスタマーケア会話データを収集・分析し、モデルの学習に使用した。
• 標準的なシーケンス・ツー・シーケンス（seq2seq）ニューラルネットワークにトーンインジケータービットを追加し、出力トーンのスタイルを制御した。
• フォーマティブスタディから得たトーン埋め込みを条件として、特定のトーンで応答を生成できるようにモデルを学習した。
• 人的なアノテーションを用いて、応答の適切さ、有用性、トーン強度を評価し、モデル出力と人的エージェントの応答を比較した。
• ブランド固有のスタイル信号を組み込むことで、ブランド対応応答をサポートできるフレームワークを設計した。

実験結果

リサーチクエスチョン

• RQ1 共感的、情熱的、怒りっぽいなどの異なるトーンは、ソーシャルメディアのカスタマーケアにおけるユーザー体験にどのように影響するか？
• RQ2 ユーザー満足度の向上とネガティブな感情の低減に最も効果的なトーンは何か？
• RQ3 深層学習ベースのチャットボットは、特定のトーンを埋め込んだ応答を、人的エージェントと同等の適切さで生成できるか？
• RQ4 人的アノテーターは、機械生成応答に埋め込まれたトーンを信頼性を持って認識できるか？
• RQ5 カスタマーケアのやり取りにおいて、トーン対応チャットボットは人的エージェントよりも共感的であると感じられるか？

主な発見

• 共感的トーンはユーザーのいらだちや悲しみを顕著に低減するが、情熱的トーンはサービス満足度とユーザー関与度を高める。
• 人的評価によると、トーン対応チャットボットの応答は、人的エージェントの応答と統計的に同等の適切さと有用性を示している。
• アノテーターは、チャットボットの応答に埋め込まれたトーンを信頼性高く認識できており、効果的なトーン制御が実現していることが確認された。
• チャットボットの応答は、人的エージェントの応答よりも共感的であると感じられ、感情的な共鳴において独自の優位性を示している。
• 情熱的応答は、共感的応答よりも著しく適切さが高く評価された。これは、さまざまなリクエストタイプに広く適用可能であるためと考えられる。
• モデルのパフォーマンスから、文法的正しさや事実の正確さを超えて、特に情熱的・共感的トーンを埋め込むことで、応答の質が顕著に向上することが示唆された。