[논문 리뷰] Interacting with next-phrase suggestions: How suggestion systems aid and influence the cognitive processes of writing

Advait Bhat, Saaket Agashe외 4명|arXiv (Cornell University)|2022. 08. 01.

Second Language Acquisition and Learning인용 수 5

한 줄 요약

이 연구는 GPT-2 기반의 다음 문장 제안 시스템을 사용하는 아마추어 작가들이 영화 평론을 쓰는 과정에서 어떻게 상호작용하는지, Hayes(2012)의 글쓰기 모델을 기반으로 한 인지적 관점에서 조사한다. 연구 결과, 작가들은 제안에 반대하더라도 제안을 개괄하거나 일부 문장을 추출하고 평가하는 경향을 보이며, 특히 정서적 불일치가 있을 경우 작가의 글쓰기 계획이 크게 변화하고 집중력이 산산이 깨지는 등 제안 시스템이 글쓰기 과정에 상당한 영향을 미친다.

ABSTRACT

Writing with next-phrase suggestions powered by large language models is becoming more pervasive by the day. However, research to understand writers' interaction and decision-making processes while engaging with such systems is still emerging. We conducted a qualitative study to shed light on writers' cognitive processes while writing with next-phrase suggestion systems. To do so, we recruited 14 amateur writers to write two reviews each, one without suggestions and one with suggestions. Additionally, we also positively and negatively biased the suggestion system to get a diverse range of instances where writers' opinions and the bias in the language model align or misalign to varying degrees. We found that writers interact with next-phrase suggestions in various complex ways: Writers abstracted and extracted multiple parts of the suggestions and incorporated them within their writing, even when they disagreed with the suggestion as a whole; along with evaluating the suggestions on various criteria. The suggestion system also had various effects on the writing process, such as altering the writer's usual writing plans, leading to higher levels of distraction etc. Based on our qualitative analysis using the cognitive process model of writing by Hayes as a lens, we propose a theoretical model of 'writer-suggestion interaction' for writing with GPT-2 (and causal language models in general) for a movie review writing task, followed by directions for future research and design.

연구 동기 및 목표

• 실시간으로 다음 문장 제안 시스템과 상호작용하는 작가들이 겪는 인지 과정을 이해하는 것.
• 작가의 견해와 모델이 생성한 제안 사이의 정서적 불일치가 글쓰기 행동과 의사결정에 미치는 영향을 분석하는 것.
• 제안 시스템이 글쓰기 과정에 미치는 영향을 분석하는 것—계획 수립, 산만함, 평가 등의 측면에서.
• Hayes(2012)의 인지적 과정 모델을 기반으로 '작가-제안 상호작용'의 이론적 모델을 수립하는 것.
• 특히 GPT-2와 같은 인과적 언어 모델을 사용하는 인간-AI 공동 글쓰기 시스템의 향후 설계 및 연구를 지원하는 것.

제안 방법

• 인도에서 온 14명의 아마추어 L2 영어 작가를 대상으로 한 질적 연구를 수행하였으며, 각 작가는 제안이 있는 경우와 없는 경우로 각각 두 편의 영화 평론을 작성하였다.
• IMDb 영화 평론에 맞게 미세조정된 GPT-2 언어 모델을 사용하였으며, 낮은(2.5점)과 높은(8.5점) 정서를 가진 두 가지 버전을 제공하였다.
• 글쓰기 도중 생각을 말하는 방식(Think-aloud)과 사후 인터뷰를 활용하여 실시간 인지 과정과 의사결정 과정을 캡처하였다.
• 기반 이론적 코드화를 적용하여 프로토콜를 분석하였으며, Hayes(2012)의 인지적 과정 모델을 분석적 프레임워크로 활용하여 상호작용를 분류하였다.
• 제안의 편향이 있을 경우와 없을 경우의 글쓰기 행동을 체계적으로 비교하여 제안 편향의 영향을 분리 분석하였다.
• 의사결정 생성, 번역, 전사 단계에서 관찰된 인지적 행동을 바탕으로 '작가-제안 상호작용'의 이론적 모델을 제안하였다.

실험 결과

연구 질문

• RQ1 작가들이 제안 전체에 반대하더라도, 그 제안과 인지적으로 어떻게 상호작용하는가?
• RQ2 제안 시스템은 작가의 원래 글쓰기 계획과 인지적 워크플로우를 어떻게 변화시키는가?
• RQ3 작가의 의도와 모델의 출력 사이의 정서적 불일치가 제안의 평가 및 선택에 어떤 영향을 미치는가?
• RQ4 어떤 인지 과정(예: 아이디어 생성, 언어 번역, 전사)이 제안 시스템에 가장 크게 영향을 받는가?
• RQ5 제안 시스템은 글쓰기 과정 중 어떤 방식으로 산만함이나 인지적 부담을 유발하는가?

주요 결과

• 작가들은 제안을 전면적으로 기각하더라도 자주 부분적인 문장을 추출하거나 개괄하여 아이디어 생성, 언어 구성, 타이핑 보조 목적으로 활용하였다.
• 작가들은 제안을 그대로 수용하지 않더라도 관련성, 정서 일치성, 언어적 품질, 자신의 목소리와의 통일성 등을 기준으로 제안을 평가하였다.
• 제안의 존재로 인해 글쓰기 계획이 변화했으며, 특히 제안이 강하게 의견을 내거나 불일치할 경우, 글의 구조, 어조, 초점이 변화하였다.
• 작가의 정서와 제안의 출력 사이의 불일치는 평가 노력과 인지적 부담을 증가시켰으며, 특히 제안이 작가의 견해와 정반대일 경우 더욱 두드러졌다.
• 제안 시스템은 더 높은 수준의 산만함을 유도하였으며, 작가들은 자주 제안을 고려하거나 기각하기 위해 멈추며 자연스러운 글쓰기 리듬을 방해당했다.
• 이 연구는 제안 시스템이 내용 외에도 시기와 빈도에 의해 글쓰기 과정에 영향을 미친다는 점을 발견하였으며, 더 자주 제안이 나타날수록 인지적 간섭이 증가하였다.