[論文レビュー] LLM-based Smart Reply (LSR): Enhancing Collaborative Performance with ChatGPT-mediated Smart Reply System

Ashish Bastola, Hao Wang+6 more|arXiv (Cornell University)|Jun 21, 2023

Artificial Intelligence in Healthcare and Education被引用数 8

ひとこと要約

本論文は、ChatGPTを用いてSlackで文脈を考慮した応答を生成するLLMベースのSmart Reply（LSR）システムを提案し、協働タスクの認知的負荷を低減し、作業パフォーマンスと生産性を向上させることを示す実験を提示する。

ABSTRACT

Interactive user interfaces have increasingly explored AI's role in enhancing communication efficiency and productivity in collaborative tasks. The emergence of Large Language Models (LLMs) such as ChatGPT has revolutionized conversational agents, employing advanced deep learning techniques to generate context-aware, coherent, and personalized responses. Consequently, LLM-based AI assistants provide a more natural and efficient user experience across various scenarios. In this paper, we study how LLM models can be used to improve work efficiency in collaborative workplaces. Specifically, we present an LLM-based Smart Reply (LSR) system utilizing the ChatGPT to generate personalized responses in professional collaborative scenarios while adapting to context and communication style based on prior responses. Our two-step process involves generating a preliminary response type (e.g., Agree, Disagree) to provide a generalized direction for message generation, thus reducing response drafting time. We conducted an experiment where participants completed simulated work tasks involving a Dual N-back test and subtask scheduling through Google Calendar while interacting with co-workers. Our findings indicate that the proposed LSR reduces overall workload, as measured by the NASA TLX, and improves work performance and productivity in the N-back task. We also provide qualitative analysis based on participants' experiences, as well as design considerations to provide future directions for improving such implementations.

研究の動機と目的

• LLMベースのスマートリプライシステムが協働作業タスクにおける認知的負荷を低減できるかを評価する。
• LSRが simulated workplace settings における作業パフォーマンスと生産性に与える影響を評価する。
• AI支援型職場コミュニケーションのユーザー体験要因、信頼性、プライバシー、設計上の考慮事項を探る。
• AI駆動の協働ツールに対する設計推奨と今後の方向性を提供する。

提案手法

• 三部構成システム：模擬作業としてのN-backタスク、サブタスク用のGoogle Calendar、LSRを統合したSlack。
• 二段階のLSRワークフロー：メッセージ生成を導くための予備的応答タイプ（例：Agree/Disagree）を生成し、次にAI生成の三つの応答オプションを提示。
• ChatGPT（GPT-3.5-turbo）を用いて直近の10件のメッセージに基づく返信を生成；ユーザーはボタンを選択してAI生成の返信を送信。
• 定量的指標（N-backの正確さ、1分あたりのメッセージ数、NASA TLX）と定性的データ（アンケートと半構造化インタビュー）を組み合わせた混合研究法評価。
• 参加者はオンラインシミュレーションでさまざまなペルソナ（Jeff、Tony、Janine）の同僚とLSR有無で対話。

実験結果

リサーチクエスチョン

• RQ1 RQ1: LSRは協働職場における作業パフォーマンス、生産性、負荷に影響を与えるか。
• RQ2 RQ2: 協働作業中のユーザー体験に影響を与える主要な要因は何か。

主な発見

Metric	t-statistic	p-value
Mental Demand	2.7102	0.0154
Temporal Demand	3.6794	0.0020
Performance	-2.5156	0.0229

• LSRは作業パフォーマンスを有意に向上させた：平均N-back正確度は73.79%（SD 14.93）から79.37%（SD 8.96）へ、差は5.58%（p = 0.025）。
• LSRは生産性を向上させた：平均1分あたりのメッセージ数が40.36%増加（p = 3.74e-06）。
• NASA TLXの結果は、LSRによって精神的負荷と時間的負荷の低減を示した；Mental Demand (t = 2.7102, p = 0.0154)、Temporal Demand (t = 3.6794, p = 0.0020)が改善、Performanceはわずかな変化（t = -2.5156, p = 0.0229）。
• 参加者はスムーズなワークフロー、タスクへの再移動の迅速化、AI生成返信の丁寧さ/品質の向上を報告したが、文脈の正確さと制御に関する懸念もあった。
• 設計上の考慮点として、制御と自動化の間のインターフェースのトレードオフ、信頼性/プライバシーの懸念、最終メッセージの編集可能性の必要性が挙げられる。