[논문 리뷰] Wordcraft: a Human-AI Collaborative Editor for Story Writing

Andy Coenen, Luke M. Davis외 3명|arXiv (Cornell University)|2021. 07. 15.

Topic Modeling참고 문헌 11인용 수 34

한 줄 요약

Wordcraft는 대화형 AI 어시스턴트(Meena)가 통합된 텍스트 편집기를 제공하여 작가들이 few-shot 프롬프트를 통해 이어쓰기, 채우기, 상세화, 재작성 등을 지원하고, 스토리텔링에서 인간-인공지능 협업을 탐구합니다.

ABSTRACT

As neural language models grow in effectiveness, they are increasingly being applied in real-world settings. However these applications tend to be limited in the modes of interaction they support. In this extended abstract, we propose Wordcraft, an AI-assisted editor for story writing in which a writer and a dialog system collaborate to write a story. Our novel interface uses few-shot learning and the natural affordances of conversation to support a variety of interactions. Our editor provides a sandbox for writers to probe the boundaries of transformer-based language models and paves the way for future human-in-the-loop training pipelines and novel evaluation methods.

연구 동기 및 목표

• 창의적 글쓰기에서 언어 모델의 활용과 인간-개입 편집의 동기를 부여한다.
• AI 지원으로 계획 수립, 작성, 편집을 지원하는 편집기 인터페이스를 제공한다.
• few-shot 학습과 대화 모델을 하나의 통합된 대화형 스토리텔링 도구로 선보인다.
• AI 보조 글쓰기의 사용자 상호작용 패턴과 향후 학습/평가 파이프라인 가능성을 조사한다.

제안 방법

• 왼쪽 글쓰기 영역과 오른쪽 AI 작업 패널이 있는 웹 기반 텍스트 편집기를 개발한다.
• 여러 작업을 수행하기 위해 few-shot 프롬프트를 갖춘 단일 언어 모델(Meena)을 사용한다.
• 대화 스타일의 이어쓰기를 가능하게 하기 위해 사용자 입력을 단계적으로 구성된 대화 맥락으로 래핑한다.
• 대화 인터페이스를 통해 이어쓰기, 채우기, 상세화, 재작성 등 작업을 지원한다.
• 정성적 연구에서 대화형 Meena를 범용 언어 모델(GPLM)과 비교한다.
• 다양한 편집 작업에 대한 작업 특화 프롬프트 구성 방법을 시연한다.

실험 결과

연구 질문

• RQ1 대화형 AI 파트너가 표준 텍스트 이어쓰기 모델보다 창의적 글쓰기 작업을 더 잘 지원할 수 있는가?
• RQ2 작가들이 계획, 작성, 편집 단계를 아우르는 다중 작업 AI 편집기와 어떻게 상호작용하는가?
• RQ3 스토리텔링을 위한 AI 출력의 품질과 해석 가능성을 높이는 프롬프트 설계(few-shot 컨텍스트)는 무엇인가?
• RQ4 채팅 형식 인터페이스를 통해 다양한 작문 작업을 수행하는 단일 언어 모델의 강점과 한계는 무엇인가?

주요 결과

• few-shot 프롬프트를 가진 대화 모델은 특정 경우 GPLMs보다 해석 가능하고 작업에 정렬된 출력물을 생성할 수 있다.
• 입력이 이야기 지향 대화로 구성될 때 Meena는 유용한 이어쓰기를 생성할 수 있다.
• 채우기 및 상세화 프롬프트는 작업별 few-shot 프롬프트를 통해 메타텍스트를 줄이고 관련성을 높인다.
• 재작성은 프롬프트 구성에 따라 어조를 유연하게 조정할 수 있다(묘사적, 유머러스 등).
• 출력물은 품질이 다양하고 비상식적이거나 편향된 결과를 포함할 수 있어 주의한 취급과 평가의 필요성을 강조한다.
• 미세조정된 모델은 채우기 같은 더 어려운 작업에서 few-shot 방식보다 성능이 우수할 수 있어 모델 크기와 작업 성능 간의 트레이드오프를 시사한다.