[논문 리뷰] Inspiration through Observation: Demonstrating the Influence of Automatically Generated Text on Creative Writing

Melissa Roemmele|arXiv (Cornell University)|2021. 07. 08.

Artificial Intelligence in Games인용 수 10

한 줄 요약

이 논문은 인간 창작 글쓰기의 창의성에 영향을 미치는 자동 생성 텍스트를 관찰할 때의 영향을 조사한다. 특히 '스토리블리(storiability, 이야기로 이어질 만한 매력적일 정도의 문장)'가 되는 문장 보충 작업에 초점을 맞추며, 신경망 언어 모델을 사용해 예시 문장을 생성함으로써 인간 저자들이 이러한 예시를 접했을 때 더 높은 수준의 스토리블리성을 보임을 발견한다. 이는 직접 복사하지 않고도 관찰을 통해 영감을 얻는 효과를 보여준다.

ABSTRACT

Getting machines to generate text perceived as creative is a long-pursued goal. A growing body of research directs this goal towards augmenting the creative writing abilities of human authors. In this paper, we pursue this objective by analyzing how observing examples of automatically generated text influences writing. In particular, we examine a task referred to as sentence infilling, which involves transforming a list of words into a complete sentence. We emphasize "storiability" as a desirable feature of the resulting sentences, where "storiable" sentences are those that suggest a story a reader would be curious to hear about. Both humans and an automated system (based on a neural language model) performed this sentence infilling task. In one setting, people wrote sentences on their own; in a different setting, people observed the sentences produced by the model while writing their own sentences. Readers then assigned storiability preferences to the resulting sentences in a subsequent evaluation. We find that human-authored sentences were judged as more storiable when authors observed the generated examples, and that storiability increased as authors derived more semantic content from the examples. This result gives evidence of an "inspiration through observation" paradigm for human-computer collaborative writing, through which human writing can be enhanced by text generation models without directly copying their output.

연구 동기 및 목표

• 관찰한 AI가 생성한 텍스트가 인간 창작 글쓰기 성과를 향상시킬 수 있는지 조사하기.
• 문장 보충 작업에서 자동 생성된 예시가 인간 저자 문장의 스토리블리성에 미치는 영향을 평가하기.
• 생성된 예시에서 비롯된 의미적 영향이 인간 글쓰기 결과에 어떻게 작용하는지 탐색하기.
• 관찰의 효과가 과제 난이도에 따라 달라지는지, 특히 도전적인 글쓰기 맥락에서 어떻게 변화하는지 평가하기.
• 인간-컴퓨터 협업 글쓰기에서 '관찰을 통한 영감' 패러다임에 대한 실증적 증거 제공하기.

제안 방법

• 인간 저자들이 두 조건(예시에 노출된 경우와 노출되지 않은 경우)에서 문장 보충 작업을 수행하도록 제어된 실험을 실시함.
• 단어 프롬프트를 기반으로 의미적으로 관련성 있고 내러티브 잠재력을 지닌 예시 문장을 생성하기 위해 신경망 언어 모델을 사용함.
• 독자 선호도 평가를 통해 '스토리블리'를 운영정의함 — 참가자들이 어느 문장이 더 읽고 싶은지 질문함.
• 어휘적 및 의미적 유사도 측정 지표를 사용해 관찰 후 인간 문장과 생성된 예시를 비교함으로써 의미적 영향을 측정함.
• 예측 난이도(쉬운 프롬프트 vs. 어려운 프롬프트)에 따라 스토리블리성의 차이를 분석하여 맥락적 영향 평가함.
• 저작 행동, 영향 패턴, 인식된 내러티브 매력도에 대한 정량적 및 정성적 데이터 수집 및 분석 수행함.

실험 결과

연구 질문

• RQ1 AI가 생성한 문장을 관찰함으로써 인간 저자 문장의 스토리블리성이 문장 보충 작업에서 향상되는가?
• RQ2 창작 글쓰기 과정에서 인간 저자들이 관찰한 AI 생성 예시로부터 의미적 내용을 어느 정도 유도하는가?
• RQ3 글쓰기 프롬프트의 난이도가 생성된 예시의 영향력이 스토리블리성에 미치는 영향을 어떻게 조절하는가?
• RQ4 생성된 예시에서 유의미하게 인간 글쓰기 결과에 영향을 주는 의미적 또는 개념적 특징은 무엇인가?
• RQ5 '관찰을 통한 영감' 패러다임이 모델 출력을 직접 복사하거나 상호작용하지 않더라도 인간 창의성을 향상시킬 수 있는가?

주요 결과

• AI가 생성한 예시를 관찰한 인간 저자 문장은 노출 없이 작성한 경우보다 유의미하게 더 높은 스토리블리성을 보였다.
• 스토리블리성 향상 정도가 인간 저자들이 생성된 예시에서 파생한 의미적 내용의 양에 비례함을 확인하여, 복사 없이도 의미 있는 영향을 받았음을 시사함.
• 관찰의 긍정적 영향은 쉬운 프롬프트보다 어려운 프롬프트에서 더 뚜렷하게 나타났으며, 도전적인 글쓰기 맥락에서 더 큰 이점이 있음을 시사함.
• 쉬운 프롬프트와 어려운 프롬프트 간에 관찰 후 문장과 생성된 예시 사이의 의미적 유사도에 유의미한 차이가 없었으며, 이는 어려운 경우에만 영향력이 약한 것이 아니라, 스토리블리성 향상 효과가 낮았음을 의미함.
• 저자들은 생성된 예시를 단순히 복사하거나 모방하지 않았으며, 오히려 아이디어를 재구성하거나 재구사함으로써 잠재적 의미적 연결을 재해석하거나 개념적으로 활성화한 것으로 보임.
• 결과는 저자 입력을 대체하지 않으면서도 새로운 내러티브 방향을 유도하는 비침습적, 관찰 기반의 AI 보조 방식이 인간 창의성을 향상시킬 수 있음을 지지함.