[논문 리뷰] Evaluating Quality of Chatbots and Intelligent Conversational Agents

Nicole Radziwill, Morgan C. Benton|arXiv (Cornell University)|2017. 04. 15.

AI in Service Interactions참고 문헌 23인용 수 184

한 줄 요약

이 논문은 챗봇의 품질 이슈와 속성을 조사하고 품질 평가 접근법을 검토하며 Analytic Hierarchy Process–based 방법을 제안한다.

ABSTRACT

Chatbots are one class of intelligent, conversational software agents activated by natural language input (which can be in the form of text, voice, or both). They provide conversational output in response, and if commanded, can sometimes also execute tasks. Although chatbot technologies have existed since the 1960s and have influenced user interface development in games since the early 1980s, chatbots are now easier to train and implement. This is due to plentiful open source code, widely available development platforms, and implementation options via Software as a Service (SaaS). In addition to enhancing customer experiences and supporting learning, chatbots can also be used to engineer social harm - that is, to spread rumors and misinformation, or attack people for posting their thoughts and opinions online. This paper presents a literature review of quality issues and attributes as they relate to the contemporary issue of chatbot development and implementation. Finally, quality assessment approaches are reviewed, and a quality assessment method based on these attributes and the Analytic Hierarchy Process (AHP) is proposed and examined.

연구 동기 및 목표

• 현대의 챗봇과 대화 에이전트와 관련된 품질 이슈 및 속성을 식별하고 분류한다.
• 챗봇에 대한 기존의 품질 평가 접근법과 프레임워크를 검토한다.
• 확정된 속성과 Analytic Hierarchy Process (AHP)를 기반으로 한 품질 평가 방법을 제안하고 예비적으로 검토한다.

제안 방법

• 챗봇 연구에서의 품질 이슈와 속성에 대한 문헌고찰을 수행한다.
• 선행 연구의 품질 속성과 평가 관행을 통합한다.
• 확정된 속성과 Analytic Hierarchy Process (AHP)에 기초한 품질 평가 방법을 개발한다.
• 챗봇 품질 평가 맥락에서 제안된 방법의 검토를 제공한다.

실험 결과

연구 질문

• RQ1 현대의 챗봇과 지능형 대화 에이전트에 관련된 품질 이슈와 속성은 무엇인가?
• RQ2 챗봇을 평가하기 위해 어떤 품질 평가 접근법이 존재하며 그 효과는 어떠한가?
• RQ3 확정된 속성을 바탕으로 AHP 기반 방법을 어떻게 사용하여 챗봇 품질을 평가할 수 있는가?
• RQ4 제안된 방법의 예비 검토가 품질 평가에 대한 활용도에 대해 무엇을 시사하는가?

주요 결과

• 문헌 고찰은 챗봇 개발 및 배포와 관련된 특정 품질 이슈와 속성을 식별한다.
• 챗봇에 대한 다양한 품질 평가 접근법이 검토되고 요약된다.
• 확정된 속성과 Analytic Hierarchy Process (AHP)에 기반한 품질 평가 방법이 제안되고 검토된다.
• 본 연구는 품질 속성을 대화 에이전트의 실용적 평가 전략과 연계한다.