[논문 리뷰] The Future of AI-Assisted Writing

Carlos Alves Pereira, Tanay Komarlu외 1명|arXiv (Cornell University)|2023. 06. 29.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

이 연구는 GPT-3와 Google Smart Compose를 사용하여 푸시(수동 제안) 및 풀(사용자 요청 생성) 파라다임을 비교한 사용자 연구를 통해 AI 보조 글쓰기 도구를 조사한다. 결과적으로 사용자들은 원활하고 간섭이 적은 통합을 선호하며, 강한 소유감과 만족감을 느끼며, 두 모델 모두 동일한 높은 수준의 글쓰기 품질을 생산한다. 다만 풀 모드는 낯선 작업에서 더 빠른 아이디어 도출을 가능하게 한다. 최소한의 관찰된 편향에도 불구하고, 사용자들은 데이터 윤리와 모델 투명성에 대해 크게 우려를 표명한다.

ABSTRACT

The development of Natural Language Generation models has led to the creation of powerful Artificial Intelligence-assisted writing tools. These tools are capable of predicting users' needs and actively providing suggestions as they write. In this work, we conduct a comparative user-study between such tools from an information retrieval lens: pull and push. Specifically, we investigate the user demand of AI-assisted writing, the impact of the two paradigms on quality, ownership of the writing product, and efficiency and enjoyment of the writing process. We also seek to understand the impact of bias of AI-assisted writing. Our findings show that users welcome seamless assistance of AI in their writing. Furthermore, AI helped users to diversify the ideas in their writing while keeping it clear and concise more quickly. Users also enjoyed the collaboration with AI-assisted writing tools and did not feel a lack of ownership. Finally, although participants did not experience bias in our experiments, they still expressed explicit and clear concerns that should be addressed in future AI-assisted writing tools.

연구 동기 및 목표

• AI 보조 글쓰기 도구에 대한 사용자 수요와 선호하는 상호작용 파라다임을 이해하기 위해.
• 푸시 대 풀 AI 보조 기능이 글쓰기 품질, 효율성, 소유감, 사용자 만족도에 미치는 영향을 평가하기 위해.
• 군중 기반 학습 데이터를 통해 발생할 수 있는 편향의 존재와 인식을 조사하기 위해.
• 향후 AI 글쓰기 도구의 사용자 경험 및 윤리적 보호 조치를 향상시키기 위한 설계를 안내하기 위해.

제안 방법

• 사용자 행동을 푸시 및 풀 파라다임에서 평가하기 위해, 익숙한 작업과 낯선 작업 두 가지 글쓰기 과제를 수행한 비교 사용자 연구를 실시하였다.
• 푸시 모드는 Google Smart Compose를, 풀 모드는 GPT-3를 통합한 커스텀 Google 애드온을 사용하여 시뮬레이션하였다.
• 글쓰기 품질, 소유감, 만족도, 편향 인식을 측정하기 위해 과제 후 설문지를 통해 정량적 및 정성적 데이터를 수집하였다.
• 제3자 평가를 통해 글쓰기 품질을 평가하였지만, 요약에서는 결과가 명시적으로 보고되지 않았다.
• 제안 수락 비율 및 워크플로우 복잡도(예: 클릭 수)와 같은 사용자 상호작용 패턴을 분석하였다.
• 관찰된 사례가 제한적이었음에도 불구하고, 명시적인 설문지를 통해 사용자들이 편향을 어떻게 인식하는지 탐색하였다.

실험 결과

연구 질문

• RQ1 RQ1: 사용자들은 글쓰기 과정에서 AI의 도움을 어느 정도 원하는가?
• RQ2 RQ2: AI 보조 글쓰기 파라다임은 사용자의 소유감과 만족도에 어떤 영향을 미치는가?
• RQ3 RQ3: 어떤 AI 보조 글쓰기 파라다임이 더 높은 품질의 글쓰기를 더 효율적으로 가능하게 하는가?
• RQ4 RQ4: AI 보조 글쓰기 도구에서 군중 기반 데이터를 통해 발생할 수 있는 편향은 사용자에게 어떤 영향을 미치는가?

주요 결과

• 사용자들은 AI 보조 기능을 강하게 환영하였으며, 명료성에 손상이 없이 아이디어의 다양성과 간결함이 향상된다고 보고하였다.
• 참가자들은 특히 제안이 더 간섭이 적은 푸시 조건에서 최종 글쓰기 결과물에 대해 강한 소유감을 느꼈다.
• 풀 파라다임은 낯선 글쓰기 과제에서 더 높은 분당 단어 수를 기록하여, 아이디어 도출을 위한 지식 원천으로서의 가치를 보여주었다.
• 관찰된 편향이 최소한이었음에도 불구하고(16명 중 1명만 편향 출력 경험), 사용자들은 편향과 데이터 프라이버시에 대해 명확하고 직접적인 우려를 표명하였다.
• 사용자들은 푸시 조건에서 더 큰 만족도를 느꼈으며, 이는 성숙한 GSC 인터페이스에서의 원활하고 부담이 적은 상호작용이 커스텀 애드온보다 더 우수했기 때문일 것이다.
• 사용자 경험은 가장 중요한 요소였으며, 문서 편집기와의 원활한 통합은 인지된 유용성과 만족도를 크게 향상시켰다.