[논문 리뷰] Conversational Agents: Theory and Applications

Mattias Wahde, Marco Virgolin|arXiv (Cornell University)|2022. 02. 07.

AI in Service Interactions인용 수 14

한 줄 요약

이 논문은 대화형 에이전트(CA)에 대한 종합적인 리뷰를 제공하며, 사교적 대화를 위한 챗봇과 목표 지향적 상호작용을 위한 작업 중심 에이전트를 구분한다. 주요 초점은 대화 표현, 평가, 윤리적 함의에 있다. 고위험 응용 분야에서의 편향과 딥페이크와 같은 위험을 해결하기 위해 해석 가능하고 책임 있는 시스템의 필요성을 강조한다.

ABSTRACT

In this chapter, we provide a review of conversational agents (CAs), discussing chatbots, intended for casual conversation with a user, as well as task-oriented agents that generally engage in discussions intended to reach one or several specific goals, often (but not always) within a specific domain. We also consider the concept of embodied conversational agents, briefly reviewing aspects such as character animation and speech processing. The many different approaches for representing dialogue in CAs are discussed in some detail, along with methods for evaluating such agents, emphasizing the important topics of accountability and interpretability. A brief historical overview is given, followed by an extensive overview of various applications, especially in the fields of health and education. We end the chapter by discussing benefits and potential risks regarding the societal impact of current and future CA technology.

연구 동기 및 목표

• 대화형 에이전트의 분류 체계를 명확히 하여 챗봇과 작업 중심 에이전트를 구분하고, 문헌에서 흔히 발생하는 오분류 문제를 다루는 것.
• 패턴 기반, 검색 기반, 생성 기반 모델을 포함한 대화 표현 기법을 검토하며, 규칙 기반 및 딥 러닝 접근 방식을 분석하는 것.
• 언어 처리, 상호작용 품질, 사회적 영향을 고려한 평가 지표를 통해 CA 성능을 평가하고, 특히 해석 가능성과 책임성에 중점을 두는 것.
• 의료, 교육, 비즈니스, 관광 분야 등 실제 응용 사례를 살펴보고 이점과 윤리적 위험을 제시하는 것.
• 향후 방향성 분석을 통해, 특히 고위험 분야에서 법적 및 윤리적 요구로 인해 투명하고 해석 가능한 시스템으로의 전환을 이끌고 있는 추세를 다루는 것.

제안 방법

• CA를 사교적 대화를 위한 챗봇과 목표 지향적 상호작용을 위한 작업 중심 에이전트로 분류하고, 대화 표현 기반으로 패턴 기반, 검색 기반, 생성 기반 모델의 하위 유형을 포함한다.
• 입력/출력 모odalities를 검토하며, 특히 신체적 대화 에이전트(ECAs)에서의 음성 처리 및 문자 애니메이션을 포함한다.
• 해석 가능한(규칙 기반, 모듈러) 및 블랙박스(딥 뉴럴 네트워크) 대화 시스템으로 나누어 투명성과 성능 간의 상충 관계를 분석한다.
• 저수준 NLP 평가 지표(BLEU, ROUGE 등), 상호작용 품질 평가(인간 평가), 사회적 영향 분석을 통합한 평가 프레임워크를 제안한다.
• 윤리적 고려 사항을 시스템 설계에 통합하고, 고위험 응용 분야에서의 책임성과 해석 가능성 강화를 주장한다.
• 사례 연구 및 역사적 배경(예: Loebner Prize, Alexa Prize)을 활용하여 기술 발전 과정과 현재의 과제를 설명한다.

실험 결과

연구 질문

• RQ1 챗봇과 작업 중심 에이전트는 설계, 기능, 응용에서 어떻게 다를지, 그 차이를 구분하는 것이 중요한 이유는 무엇인가?
• RQ2 CA에서 대화 표현 기법의 핵심 접근 방식은 무엇이며, 규칙 기반과 딥 러닝 기반 시스템은 해석 가능성과 성능 측면에서 어떻게 비교되는가?
• RQ3 유창성 외의 측면에서 대화형 에이전트를 효과적으로 평가하는 방법은 무엇이며, 특히 상호작용 품질과 사회적 영향을 어떻게 평가할 수 있는가?
• RQ4 블랙박스 기반 CA와 관련된 주요 윤리적 위험 요소는 무엇이며, 실질적 구현에서 해석 가능성과 책임성을 어떻게 향상시킬 수 있는가?
• RQ5 특히 헬스케어와 교육 분야에서 CA는 어떤 전환적 이점을 제공하며, 그 책임감 있는 구현을 위한 남아 있는 과제는 무엇인가?

주요 결과

• 작업 중심 에이전트는 항공권 예약이나 의료 조언과 같은 목표 지향적 작업에서 정밀도와 신뢰성 측면에서 챗봇보다 뛰어나며, 이는 구조화된 대화 관리와 데이터베이스 통합 덕분이다.
• 생성 기반 및 검색 기반 챗봇은 반복적인 질의 시 일관성 없거나 사실과 어긋난 응답을 출력하는 경향이 있어, 사실 기반 질의에 대한 신뢰성에 한계가 있음을 보여준다.
• 블랙박스 딥 러닝 모델은 유창한 응답 생성에 효과적이지만, 비공개된 편향과 투명성 부족으로 인해 특히 정제되지 않은 소셜 미디어 데이터로 훈련된 경우 심각한 위험을 초래한다.
• 신체적 대화 에이전트(ECAs)는 시각적 및 청각적 신호를 통해 사용자 참여도를 향상시키지만, 음성 처리, 애니메이션, 다중 모odal 상호작용 기법의 통합이 필요하다.
• 딥페이크, 데이터 오용, 해로운 사회적 유대감과 같은 윤리적 위험은 특히 해석 가능성이나 감시가 없는 상태에서 배포될 경우 악화된다.
• 의료 및 금융과 같은 고위험 분야에서의 책임성 요구 증가는 현재 엔드 투 엔드 딥 뉴럴 모델의 지배를 뛰어넘어, 해석 가능하고 모듈러한 대화 시스템으로의 전환을 이끌 것으로 기대된다.