[논문 리뷰] Different but Equal: Comparing User Collaboration with Digital Personal Assistants vs. Teams of Expert Agents

Cláudio Pinhanez, Heloísa Candello외 5명|arXiv (Cornell University)|2018. 01. 01.

AI in Service Interactions참고 문헌 45인용 수 4

한 줄 요약

이 연구는 동일한 대화 내용을 사용하여 단일 디지털 개인 보조자와 전문 챗봇 팀 간의 사용자 협업을 비교한다. 결과적으로 작업 성공률이나 협업 비용에 유의미한 차이가 없었으며, 사용자들은 둘 다 동일한 정도로 에이전트 행동을 예측할 수 있었고, 이는 인간-에이전트 협업에서 두 모델이 동일하게 타당하다는 것을 시사한다.

ABSTRACT

This work compares user collaboration with conversational personal assistants vs. teams of expert chatbots. Two studies were performed to investigate whether each approach affects accomplishment of tasks and collaboration costs. Participants interacted with two equivalent financial advice chatbot systems, one composed of a single conversational adviser and the other based on a team of four experts chatbots. Results indicated that users had different forms of experiences but were equally able to achieve their goals. Contrary to the expected, there were evidences that in the teamwork situation that users were more able to predict agent behavior better and did not have an overhead to maintain common ground, indicating similar collaboration costs. The results point towards the feasibility of either of the two approaches for user collaboration with conversational agents.

연구 동기 및 목표

• 사용자 협업이 단일 개인 보조자와 전문 챗봇 팀 간에 작업 달성도와 협업 비용 측면에서 다를지 조사하기 위해.
• 팀 오브 엑스퍼트 모델이 개인 보조자 모델보다 더 높은 인지적 또는 조율 부담을 유발하는지 탐색하기 위해.
• 두 상호작용 패러다임 모두에서 사용자들이 에이전트 행동에 대해 유사한 정신 모델을 형성하는지 평가하기 위해.
• 실생활 작업 맥락에서 다중봇 대화 시스템과 중심화된 개인 보조자 간의 타당성과 사용자 경험을 평가하기 위해.

제안 방법

• 동일한 대화 내용을 사용하여 두 개의 통제된 사용자 연구를 실시하였으며, 한 버전은 모든 응답이 단일 개인 챗봇에서 온 것으로 보여주고, 다른 버전은 공유 대화에서 네 명의 별개의 전문 챗봇이 응답하는 방식으로 구성되었다.
• 연구에서 사용된 금융 상담 시스템은 기존의 다중 전문가 시스템(finch)을 변형하여 사용하였으며, 개인 보조자 버전은 네 명의 전문 봇 인터페이스를 하나의 에이전트 외형으로 통합하여 제작하였다.
• 참가자들은 WhatsApp를 닮은 채팅 기반 환경에서 금융 상담 작업을 수행하였으며, 두 시스템이 동일한 발언과 행동을 보여주어 인터페이스 구조의 영향을 고립시켰다.
• 협업 비용은 사용자 보고된 노력, 에이전트 행동 예측 정확도, 대화 중 공동 지식 유지 정도로 측정되었다.
• 클락의 공동 활동 이론과 클라인 등에 기반한 이론적 프레임워크를 활용하여 두 모델 간 협업 역학의 차이를 분석하였다.

실험 결과

연구 질문

• RQ1 전문 챗봇 팀과 협업할 경우 단일 개인 보조자 사용보다 더 높은 협업 비용이 발생하는가?
• RQ2 팀 오브 엑스퍼트 환경과 개인 보조자 환경에서 사용자들이 에이전트 행동을 동일한 정도로 예측할 수 있는가?
• RQ3 두 상호작용 모델 간에 사용자들이 에이전트 역할과 행동에 대해 형성하는 정신 모델은 어떻게 다를까?
• RQ4 팀 오브 엑스퍼트 모델이 조율 복잡성으로 인해 낮은 작업 성공률을 보이는가?

주요 결과

• 사용자들은 개인 보조자 모델과 팀 오브 엑스퍼트 구성 모두에서 동일한 성공률로 금융 상담 목표를 달성하여, 두 모델 간 성능에 차이가 없음을 시사한다.
• 사용자들은 전문 챗봇 팀과 협업할 때도 협업 비용이 유의미하게 증가하지 않았으며, 다중 에이전트 상호작용이 더 부담스럽다는 기대에 반해 결과적으로 그렇지 않았다.
• 사용자들은 두 환경 모두에서 동일한 정도로 에이전트 행동을 예측할 수 있었으며, 이는 정신 모델의 명확성과 예측 가능성 수준이 유사하다는 것을 의미한다.
• 공동 지식 유지에 추가 노력이 필요로 하지 않았으며, 이는 상호 에이전트 간 조율이 사용자에게 추가 인지 부담을 유발하지 않았음을 시사한다.
• 다수의 에이전트를 관리하는 데 있어 인지적 복잡성이 있다고 느끼더라도, 연구 기간 동안 사용자들은 다중봇 조건에서 더 높은 인지적 스트레스를 보고하지 않았다.
• 이러한 결과는 다중봇 채팅 시스템이 개인 보조자와 동등한 대안이 될 수 있음을 시사하며, 특히 투명성, 사용자 통제력 향상, 권력의 중심 집중 감소 등의 잠재적 이점이 있기 때문이다.