[논문 리뷰] VISAR: A Human-AI Argumentative Writing Assistant with Visual Programming and Rapid Draft Prototyping

Zheng Zhang, Jie Gao외 2명|arXiv (Cornell University)|2023. 04. 16.

Software Engineering Research인용 수 4

한 줄 요약

VISAR는 시각적 프로그래밍과 빠른 초안 프로토타이핑을 통해 논증적 글쓰기를 지원하는 인간-AI 협업 글쓰기 보조 도구입니다. 사용자가 계층적인 글쓰기 목표를 뇌storm하고, 텍스트와 시각적 개요를 동기화하며, 증거와 반론을 위한 논증 자극을 받고, LLM을 활용해 초안을 프로토타이핑할 수 있도록 합니다. 제어된 연구에서 계획 효율성과 사용자 만족도 향상이 입증되었습니다.

ABSTRACT

In argumentative writing, writers must brainstorm hierarchical writing goals, ensure the persuasiveness of their arguments, and revise and organize their plans through drafting. Recent advances in large language models (LLMs) have made interactive text generation through a chat interface (e.g., ChatGPT) possible. However, this approach often neglects implicit writing context and user intent, lacks support for user control and autonomy, and provides limited assistance for sensemaking and revising writing plans. To address these challenges, we introduce VISAR, an AI-enabled writing assistant system designed to help writers brainstorm and revise hierarchical goals within their writing context, organize argument structures through synchronized text editing and visual programming, and enhance persuasiveness with argumentation spark recommendations. VISAR allows users to explore, experiment with, and validate their writing plans using automatic draft prototyping. A controlled lab study confirmed the usability and effectiveness of VISAR in facilitating the argumentative writing planning process.

연구 동기 및 목표

• 기존 AI 글쓰기 도구가 높은 수준의 논증 구조화와 저수준의 콘텐츠 생성 간 원활한 통합을 지원하지 못하는 격차를 보완하기 위해.
• 사용자가 체계적이고 AI 지원 지침을 받는 방식으로 반복적으로 계획, 수정, 초안을 제작할 수 있도록 글쓰기 능력을 향상시키기 위해.
• 동기화된 텍스트 및 시각적 편집기를 통해 계층적 글쓰기 목표 생성과 논리적 일관성 구현을 지원하기 위해.
• LLM 기반 프로토타이핑을 통해 빠르게 논증적 초안을 탐색함으로써 글쓰기 계획을 검증하고 개선할 수 있도록 하기 위해.
• 대화형 LLM 상호작용에 대한 의존도를 줄임으로써 글쓰기 과정에서 사용자 통제력과 자율성을 향상시키기 위해.

제안 방법

• VISAR는 실시간 일관성을 확보하기 위해 텍스트 편집기와 시각적 개요 캔버스를 결합한 이중 인터페이스 시스템을 사용합니다.
• 시각적 프로그래밍을 통해 논증 구조를 노드와 관계로 표현하여 드래그 앤 드롭 조작을 통해 계층적 글쓰기 목표를 조작할 수 있도록 합니다.
• 시스템은 사용자가 정의한 주장을 바탕으로 증거, 논리적 오류, 반론을 위한 '논증 자극'을 생성하기 위해 LLM을 통합합니다.
• VISAR는 시각적 개요에서 자동으로 전체 초안 버전을 생성함으로써 사용자가 반복적으로 계획을 평가하고 수정할 수 있도록 빠른 초안 프로토타이핑을 지원합니다.
• 사용자는 초안 프로토타입 생성 시기를 제어할 수 있도록 '게으름' 모드와 '비게으름' 모드를 전환할 수 있습니다. 이는 다양한 계획 워크플로우를 지원합니다.
• 개요 노드 간에 다양한 관계 유형(예: 지지, 반론, 증거 등)을 지원하여 복잡한 논증 구조를 모델링할 수 있습니다.

Figure 1 . The main interface of VISAR. The user can edit their argumentative writing outline via either the text editor (A) or the canvas of the visual outline (B); VISAR synchronizes these two workspaces and facilitates users to correspond a writing item in editor (E) to the counterpart node in vi

실험 결과

연구 질문

• RQ1 어떻게 글쓰기 보조도구가 사용자 통제력과 자율성을 유지하면서도 계층적 논증 글쓰기 계획을 지원할 수 있는가?
• RQ2 시각적 프로그래밍은 논증 글쓰기 계획의 명확성과 일관성 향상에 얼마나 기여하는가?
• RQ3 빠른 초안 프로토타이핑은 글쓰기 계획을 평가하고 수정하는 데 얼마나 효과적인가?
• RQ4 AI가 생성한 논증 자극은 글쓰기 계획의 설득력과 완전성 향상에 기여하는가?
• RQ5 VISAR는 전통적인 대화 기반 LLM 인터페이스에 비해 반복적 글쓰기 계획을 지원하는 데 얼마나 효과적인가?

주요 결과

• 12명의 참가자가 참여한 제어된 실험에서 VISAR가 논증적 글쓰기 계획에 유용하고 사용하기 쉬우며 선호된다는 평가를 받았습니다.
• 참가자들은 동기화된 텍스트-시각적 인터페이스 덕분에 계층적 글쓰기 목표를 더 잘 정리하고 논리적 일관성을 유지할 수 있었다고 보고했습니다.
• 빠른 초안 프로토타이핑 기능 덕분에 사용자들은 텍스트 중심 계획보다 구조적 약점을 더 효과적으로 식별하고 논증을 개선할 수 있었습니다.
• 논증 자극 통합으로 사용자들은 계획 단계에서 증거, 반론, 논리적 고려 사항을 더 이르게 통합할 수 있었습니다.
• 사용자들은 비정형적인 대화 기반 LLM 상호작용보다 체계적이고 시각적인 접근 방식을 선호했으며, 더 나은 통제력과 낮은 인지 부하를 경험했다고 밝혔습니다.
• 시스템은 특히 전반적인 구조와 국소적 논증 간 균형을 맞추는 데 효과적으로 기여하며 반복적이고 비선형적인 글쓰기 과정을 지원하는 데 성공했습니다.

Figure 2 . Four cognitive writing stages (Flower and Hayes, 1981 ; Grabe and Kaplan, 2014 ) and how VISAR’s features support them. VISAR primarily focuses on prewriting and planning stages in argumentative writing. VISAR also assists with rapid draft prototyping as a way to facilitate more effective