[논문 리뷰] LLM-based Smart Reply (LSR): Enhancing Collaborative Performance with ChatGPT-mediated Smart Reply System

Ashish Bastola, Hao Wang외 6명|arXiv (Cornell University)|2023. 06. 21.

Artificial Intelligence in Healthcare and Education인용 수 8

한 줄 요약

논문은 ChatGPT를 활용하여 Slack에서 맥락 인식 응답을 생성하는 LLM 기반 Smart Reply (LSR) 시스템을 제시한다. 이는 인지 부담을 줄이고 시뮬레이션 협업 작업에서 작업 성과와 생산성을 향상시킨다.

ABSTRACT

Interactive user interfaces have increasingly explored AI's role in enhancing communication efficiency and productivity in collaborative tasks. The emergence of Large Language Models (LLMs) such as ChatGPT has revolutionized conversational agents, employing advanced deep learning techniques to generate context-aware, coherent, and personalized responses. Consequently, LLM-based AI assistants provide a more natural and efficient user experience across various scenarios. In this paper, we study how LLM models can be used to improve work efficiency in collaborative workplaces. Specifically, we present an LLM-based Smart Reply (LSR) system utilizing the ChatGPT to generate personalized responses in professional collaborative scenarios while adapting to context and communication style based on prior responses. Our two-step process involves generating a preliminary response type (e.g., Agree, Disagree) to provide a generalized direction for message generation, thus reducing response drafting time. We conducted an experiment where participants completed simulated work tasks involving a Dual N-back test and subtask scheduling through Google Calendar while interacting with co-workers. Our findings indicate that the proposed LSR reduces overall workload, as measured by the NASA TLX, and improves work performance and productivity in the N-back task. We also provide qualitative analysis based on participants' experiences, as well as design considerations to provide future directions for improving such implementations.

연구 동기 및 목표

• LLM 기반 스마트 응답 시스템이 협업 작업에서 인지적 workload를 줄일 수 있는지 평가한다.
• LSR이 시뮬레이션 직장 환경에서 작업 성과와 생산성에 미치는 영향을 평가한다.
• AI 지원 직장 내 커뮤니케이션의 사용자 경험 요인, 신뢰, 프라이버시, 설계 고려사항을 탐구한다.
• AI 주도 협업 도구에 대한 설계 권고 및 향후 방향을 제공한다.

제안 방법

• 세 부분으로 구성된 시스템: 시뮬레이션 작업으로서의 N-back 과제, 하위 작업용 Google Calendar, LSR이 통합된 Slack.
• 두 단계 LSR 워크플로우: 메시지 생성을 가이드하기 위한 예비 응답 유형(예: 동의/반대)을 생성한 다음, AI가 생성한 세 가지 응답 옵션을 제시한다.
• 마지막 10개 메시지에 기반하여 ChatGPT(GPT-3.5-turbo)를 사용해 답장을 생성; 사용자가 버튼을 눌러 AI가 생성한 답장을 보낸다.
• 정량적 지표(N-back 정확도, 분당 메시지 수, NASA TLX)와 정성적 데이터(설문조사 및 반구조화된 인터뷰)를 결합한 혼합 방법 평가.
• 참가자들은 LSR 여부에 따라 온라인 시뮬레이션에서 서로 다른 페르소나(Jeff, Tony, Janine)의 동료와 상호작용했다.

실험 결과

연구 질문

• RQ1 RQ1: LSR이 협업 직장에서 작업 성과, 생산성 및 작업 부하에 영향을 미치는가?
• RQ2 RQ2: 협업 작업 중 사용자 경험에 영향을 주는 주요 요인은 무엇인가?

주요 결과

• LSR은 작업 성과를 크게 향상시켰다: 평균 N-back 정확도는 73.79% (SD 14.93)에서 79.37% (SD 8.96)로 증가; 차이 5.58%(p = 0.025).
• LSR은 생산성을 증가시켰다: 평균 분당 메시지 수가 40.36% 증가(p = 3.74e-06).
• NASA TLX 결과는 LSR로 정신적 및 시간적 부담 감소를 보였다; Mental Demand(t = 2.7102, p = 0.0154), Temporal Demand(t = 3.6794, p = 0.0020) 향상, Performance은 경미한 변화(t = -2.5156, p = 0.0229).
• 참가자들은 보다 원활한 작업 흐름, 작업으로의 빠른 복귀, AI 생성 응답의 공손함/품질을 느꼈고, 맥락 정확도와 제어에 대한 일부 우려를 제시했다.
• 설계 고려사항으로는 제어와 자동화 간의 인터페이스 트레이드오프, 신뢰/프라이버시 문제, 최종 메시지 편집의 필요성 등이 제시된다.