[논문 리뷰] "Is there anything else I can help you with?": Challenges in Deploying an On-Demand Crowd-Powered Conversational Agent

Ting-Hao Huang, Walter S. Lasecki외 2명|arXiv (Cornell University)|2017. 08. 10.

Mobile Crowdsensing and Crowdsourcing인용 수 19

한 줄 요약

이 논문은 실시간으로 수요에 따라 인간 작업자들을 채용하여 응답을 생성하는 코어스(Chorus)라는 커뮤니티 기반 대화형 에이전트를 제안한다. 이는 자연스럽고 다중 턴 대화를 가능하게 한다. 59명의 사용자와 320개의 세션을 지원한 성공에도 불구하고, 대화 종료, 작업자 및 사용자 안전, 수요에 따른 채용, 단순 공감대를 넘은 일관된 집단 정체성 유지 등의 핵심 과제가 드러났다.

ABSTRACT

Intelligent conversational assistants, such as Apple's Siri, Microsoft's Cortana, and Amazon's Echo, have quickly become a part of our digital life. However, these assistants have major limitations, which prevents users from conversing with them as they would with human dialog partners. This limits our ability to observe how users really want to interact with the underlying system. To address this problem, we developed a crowd-powered conversational assistant, Chorus, and deployed it to see how users and workers would interact together when mediated by the system. Chorus sophisticatedly converses with end users over time by recruiting workers on demand, which in turn decide what might be the best response for each user sentence. Up to the first month of our deployment, 59 users have held conversations with Chorus during 320 conversational sessions. In this paper, we present an account of Chorus' deployment, with a focus on four challenges: (i) identifying when conversations are over, (ii) malicious users and workers, (iii) on-demand recruiting, and (iv) settings in which consensus is not enough. Our observations could assist the deployment of crowd-powered conversation systems and crowd-powered systems in general.

연구 동기 및 목표

• 실세계에서 실시간으로 수요에 따라 작업자들을 활용하는 대화형 에이전트를 구현하는 가능성과 과제를 탐색하는 것.
• 이러한 시스템의 개방적이고 장기적인 구현에서 사용자와 커뮤니티 작업자 간의 상호작용 방식을 이해하는 것.
• 인간-중개 대화 시스템에서 대화의 무결성, 작업자 안전, 사용자 신뢰를 유지하는 데 있어 체계적 과제를 특정하는 것.
• 작업자 공감대와 수요에 따른 채용의 한계를 평가하여 자연스럽고 지속 가능한 대화를 유지하는 데 기여하는지 확인하는 것.

제안 방법

• 코어스(Chorus)는 Google Hangouts를 통해 배포되어 사용자가 다양한 기기의 표준 메시징 인터페이스를 통해 상호작용할 수 있도록 한다.
• 시스템은 각 사용자 발화에 대해 실시간으로 아마존 Mechanical Turk에서 커뮤니티 작업자를 동적으로 채용한다.
• 작업자들은 대화 기록을 제시받고, 사전 정의된 템플릿이나 스크립트 없이 다음 응답을 생성하도록 요청받는다.
• 공감대 기반 메커니즘이 응답을 필터링하는 데 사용되지만, 공감대 확보가 어려운 경우 단일 작업자 응답도 허용한다.
• 다양한 작업자들이 기여하지만, 응답은 항상 하나의 에이전트(코어스) 소속으로 유지되어 지속적인 대화 정체성을 확보한다.
• 피드백 및 모니터링 메커니즘이 구현되었으며, 작업자 및 사용자와의 직접 소통 채널과 분석을 위한 상호작용 로깅이 포함되어 있다.

실험 결과

연구 질문

• RQ1 실세계 사용 환경에서 커뮤니티 기반 대화형 에이전트가 대화가 종료되었음을 효과적으로 판단할 수 있는 기준은 무엇인가?
• RQ2 개방적이고 감시되지 않은 환경에서 커뮤니티 기반 시스템을 운영할 경우 악성 사용자와 악성 작업자로부터 발생하는 과제는 무엇인가?
• RQ3 낮은 지연 시간과 높은 응답 품질을 유지하면서도, 수요에 따른 작업자 채용을 얼마나 지속 가능하게 확장할 수 있는가?
• RQ4 다른 작업자들이 각각 응답을 제공하는 상황에서, 여러 대화 터미널에 걸쳐 일관된 집단 정체성을 어떻게 유지할 수 있는가?

주요 결과

• 코어스(Chorus)는 첫 번째 개월 동안 59명의 고유 사용자와 320개의 대화 세션을 지원하여, 장기적이고 실시간으로 작동하는 커뮤니티 기반 대화의 가능성은 입증되었다.
• 사용자들은 업무 중심의 질문 외에도 뇌물링, 수정 검토, 언어 학습, 개인적 문제 논의 등 예상치 못한 행동을 자주 보였으며, 이는 작업 중심 질문 외에도 광범위한 창의적 잠재력을 지닌다는 것을 시사한다.
• 작업자들은 종종 자발적으로 자신의 신원을 드러내어 단일 대화 에이전트의 정체성을 깨뜨리며, 시스템의 지속적인 정체성 설계에 도전을 가했다.
• 공감대 메커니즘에도 불구하고, 다양한 작업자들 간의 어조와 스타일의 상당한 차이로 인해 일관된 대화 정체성 유지가 어려웠다.
• 수요에 따른 채용은 비용이 많이 들고 신뢰성이 떨어졌으며, 작업자들은 반복적이고 예측 가능한 작업을 선호했고, 일회성 및 시간에 민감한 상호작용에는 거부 반응을 보였다.
• 악성 사용자들은 가끔 폭력적 또는 모욕적인 콘텐츠를 전송했고, 작업자들은 유해하거나 부적절한 요청에 노출되었으며, 이는 더 나은 콘텐츠 필터링 및 작업자 보호 메커니즘의 필요성을 강조한다.