[論文レビュー] Can You be More Social? Injecting Politeness and Positivity into Task-Oriented Conversational Agents

Yi‐Chia Wang, Alexandros Papangelis+4 more|arXiv (Cornell University)|Dec 29, 2020

Topic Modeling参考文献 72被引用数 6

ひとこと要約

本稿では、タスク指向型対話エージェントに丁寧さと前向きな態度を注入しながら、タスク関連の内容を保持するように、社会的言語理解モジュールを統合したシーケンス・ツー・シーケンス深層学習モデルを提案する。評価結果では、生成された応答の丁寧さが向上し、ユーザーの反応性とタスク完了率が向上する傾向が示されたが、ポジティブネスの強化については、感情分析と人間のポジティブネス認識との不一致のため、結果が一貫しなかった。

ABSTRACT

Goal-oriented conversational agents are becoming prevalent in our daily lives. For these systems to engage users and achieve their goals, they need to exhibit appropriate social behavior as well as provide informative replies that guide users through tasks. The first component of the research in this paper applies statistical modeling techniques to understand conversations between users and human agents for customer service. Analyses show that social language used by human agents is associated with greater users' responsiveness and task completion. The second component of the research is the construction of a conversational agent model capable of injecting social language into an agent's responses while still preserving content. The model uses a sequence-to-sequence deep learning architecture, extended with a social language understanding element. Evaluation in terms of content preservation and social language level using both human judgment and automatic linguistic measures shows that the model can generate responses that enable agents to address users' issues in a more socially appropriate way.

研究の動機と目的

• 人間とエージェントのカスタマーサービス対話における社会的言語が、ユーザーの反応性とタスク完了に与える影響を調査すること。
• タスク関連の内容を保持しつつ、制御可能なレベルの丁寧さとポジティブネスを備えた応答を生成できる深層学習モデルを開発すること。
• 自動指標と人間の判断の両方を用いて、コンテンツの正確性の維持と社会的適切さの向上の有効性を評価すること。
• 自動感情分類と人間のポジティブネス認識との間に生じる乖離を特定すること。
• タスク指向型エージェントに社会的言語を統合するフレームワークを提供し、ユーザー体験と関与度の向上を図ること。

提案手法

• モデルは、応答の丁寧さとポジティブネスのレベルを制御するための社会的言語理解モジュールを追加した、シーケンス・ツー・シーケンスニューラルネットワークアーキテクチャを採用する。
• 丁寧さとポジティブネスは、先行研究から得た事前学習済み機械学習モデルを用いて、実際の人間同士のカスタマーサービス対話の分析に活用する。
• 学習データは、乗車共用サービスのオンボーディング支援システムから得た実際の対話であり、社会的言語使用のラベルが付与されている。
• コンテンツの保持と社会的言語の注入の両立を図るため、損失関数を用いて、望ましいレベルの丁寧さやポジティブネスを持つ応答を生成するように微調整する。
• クラウドソーシングを用いた人間評価により応答品質を評価し、レーティング担当者が丁寧さとポジティブネスをスケールで評価する。自動指標を用いてコンテンツ保持の妥当性を検証する。
• コンテンツの忠実度と社会的言語の有効性を評価するために、自動言語的指標と人間の判断の両方を用いてフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 人間エージェントによるタスク指向型対話における社会的言語の使用は、ユーザーの反応性とタスク完了に相関しているか？
• RQ2 深層学習モデルは、コンテンツの正確性を保持しつつ、丁寧さとポジティブネスを効果的に注入したタスク指向型応答を生成できるか？
• RQ3 自動感情分類器と人間の認識との間で、会話応答におけるポジティブネスの測定にどのような差異が生じるか？
• RQ4 丁寧さとポジティブネスは、現実世界のタスク指向型対話におけるユーザー関与にどのような影響を与えるか？
• RQ5 提案されたモデルは、エージェントの応答における社会的言語の強化により、現実世界のカスタマーサービスの成果を改善できるか？

主な発見

• 人間エージェントの応答における丁寧さは、ドライバーの反応性の向上と最初の乗車の完了率の増加と顕著に相関していた。
• ポジティブネスはタスク完了率と正の相関を示したが、反応性とは負の相関を示しており、ユーザー行動との間に複雑な関係があることが示唆された。
• モデルは生成応答の丁寧さを成功裏に向上させた。人間のレーティング担当者の87％が、強化された応答が非強化応答よりもより丁寧であると評価した。
• モデルは認識されたポジティブネスを有意に向上させず、わずか13％のレーティング担当者がポジティブネス強化応答をより前向きだと評価した。これは、感情分析と人間の認識との間で不一致があることを示唆している。
• 丁寧さについては中程度の評価者間一致度であったが、ポジティブネスについては低かった（kappa = .2）ことから、会話文脈におけるポジティブネスの定義と評価に曖昧さがあることが示された。
• 研究結果から、感情ベースのモデルは丁寧さを効果的に検出できるが、人間のポジティブネス理解とは一致しない可能性があるため、今後の研究ではより的確なポジティブネスモデリングの必要性が示唆された。