[論文レビュー] "Is there anything else I can help you with?": Challenges in Deploying an On-Demand Crowd-Powered Conversational Agent

Ting-Hao Huang, Walter S. Lasecki+2 more|arXiv (Cornell University)|Aug 10, 2017

Mobile Crowdsensing and Crowdsourcing被引用数 19

ひとこと要約

本論文では、リアルタイムで必要に応じて人間の作業者を割り当てて応答を生成する、クラウド型の会話エージェント「Chorus」を提示する。これにより、自然で複数回にわたる会話が可能となる。320件の会話セッションと59名のユーザーをサポートしたが、会話の終了処理、作業者およびユーザーの安全、即時の作業者割り当て、単純な合意形成を超えた一貫性のある集団的アイデンティティの維持といった、重要な課題が明らかになった。

ABSTRACT

Intelligent conversational assistants, such as Apple's Siri, Microsoft's Cortana, and Amazon's Echo, have quickly become a part of our digital life. However, these assistants have major limitations, which prevents users from conversing with them as they would with human dialog partners. This limits our ability to observe how users really want to interact with the underlying system. To address this problem, we developed a crowd-powered conversational assistant, Chorus, and deployed it to see how users and workers would interact together when mediated by the system. Chorus sophisticatedly converses with end users over time by recruiting workers on demand, which in turn decide what might be the best response for each user sentence. Up to the first month of our deployment, 59 users have held conversations with Chorus during 320 conversational sessions. In this paper, we present an account of Chorus' deployment, with a focus on four challenges: (i) identifying when conversations are over, (ii) malicious users and workers, (iii) on-demand recruiting, and (iv) settings in which consensus is not enough. Our observations could assist the deployment of crowd-powered conversation systems and crowd-powered systems in general.

研究の動機と目的

• 実世界での即時的クラウド型会話エージェントの導入可能性とその課題を検討すること。
• このようなシステムのオープンかつ長期的な導入における、ユーザーとクラウド作業者の相互作用を理解すること。
• 人間を含むループ型会話システムにおける会話の整合性、作業者の安全、ユーザーの信頼を維持するためのシステム的課題を特定すること。
• 作業者の合意形成と即時の作業者割り当ての限界を評価し、自然で持続可能な会話が維持できるかを検証すること。

提案手法

• ChorusはGoogle Hangouts経由で配備され、ユーザーはさまざまなデバイスの標準的なメッセージングインターフェースを通じて対話可能である。
• システムは、各ユーザーの発話ごとにリアルタイムでAmazon Mechanical Turkからクラウド作業者を動的に割り当てる。
• 作業者には会話の履歴が提示され、次なる応答を生成するよう求められ、事前のテンプレートやスクリプトは存在しない。
• 合意形成メカニズムが応答のフィルタリングに用いられるが、合意が得られない場合には単一の作業者による応答も許容される。
• 複数の作業者が応答に貢献しているにもかかわらず、システムは応答を単一のエージェント（Chorus）に帰属させることで、持続的な会話的アイデンティティを維持する。
• フィードバックおよび監視メカニズムが導入され、作業者およびユーザーとの直接的な通信チャネル、および分析用の対話ログの記録が行われた。

実験結果

リサーチクエスチョン

• RQ1 実世界での運用において、クラウド型会話エージェントはどのようにして会話が終了したと適切に判断できるか？
• RQ2 オープンで監視のない運用におけるクラウド型システムにおいて、悪意のあるユーザーおよび作業者から生じる課題は何か？
• RQ3 低レイテンシと高い応答品質を維持しつつ、即時の作業者割り当てをどの程度まで持続可能にスケーリングできるか？
• RQ4 異なる作業者が応答を提供する場合、複数の会話ターンにわたって一貫した集団的アイデンティティをどのように維持できるか？

主な発見

• Chorusは、導入後1か月間で59名のユニークユーザーと320件の会話セッションをサポートし、長期的かつリアルタイムのクラウド型会話の実現可能性を示した。
• ユーザーは、タスク指向の質問を超えて、ブレインストーミング、校正、言語学習、個人的な問題の相談といった予期せぬ行動を頻繁に示し、タスクを超えた幅広い創造的潜在能力が示された。
• 作業者たちはしばしば自らの身元を自発的に明かし、単一の会話エージェントであるという幻想を破壊し、システムの持続的アイデンティティ設計に挑戦した。
• 合意形成メカニズムが存在しても、作業者ごとに応答のトーンやスタイルが著しく異なるため、一貫した会話的アイデンティティの維持は困難であった。
• 即時の作業者割り当ては費用がかかり、信頼性に欠け、作業者たちは一時的で時間制限のある対話よりも、予測可能で繰り返し可能なタスクを好んだ。
• 悪意あるユーザーがたびたび攻撃的コンテンツを送信したほか、作業者たちは有害または不適切な要求にさらされた。これは、コンテンツフィルタリングおよび作業者保護の仕組みの強化の必要性を示唆している。