[논문 리뷰] FairyTailor: A Multimodal Generative Framework for Storytelling

Eden Bensaid, Mauro Martino외 2명|arXiv (Cornell University)|2021. 07. 13.

Multimodal Machine Learning Applications참고 문헌 29인용 수 9

한 줄 요약

FairyTailor는 동적인 상호작용 웹 인터페이스에서 텍스트 생성과 이미지 검색을 통합함으로써 인간이 참여하는 다중모달 생성 프레임워크를 제안한다. 이는 지속적인 사용자 피드백, 자동완성, 다중모달 조건화를 통해 서사의 통일성과 창의성을 향상시키며, 통합된 이미지 사용이 상호작용 기반 스토리텔링 시스템의 스토리 품질과 사용자 참여도를 향상시킨다는 점을 입증한다.

ABSTRACT

Storytelling is an open-ended task that entails creative thinking and requires a constant flow of ideas. Natural language generation (NLG) for storytelling is especially challenging because it requires the generated text to follow an overall theme while remaining creative and diverse to engage the reader. In this work, we introduce a system and a web-based demo, FairyTailor, for human-in-the-loop visual story co-creation. Users can create a cohesive children's fairytale by weaving generated texts and retrieved images with their input. FairyTailor adds another modality and modifies the text generation process to produce a coherent and creative sequence of text and images. To our knowledge, this is the first dynamic tool for multimodal story generation that allows interactive co-formation of both texts and images. It allows users to give feedback on co-created stories and share their results.

연구 동기 및 목표

• 자연어 생성(NLG) 분야에서 개방형, 창의적이고 통일된 스토리 생성 과제를 시각 모달을 통합함으로써 해결하고자 한다.
• 사용자가 실시간으로 AI 생성 텍스트와 검색된 이미지를 함께 사용할 수 있는 상호작용적 웹 기반 플랫폼을 설계하고자 한다.
• 텍스트와 이미지를 조합한 다중모달 생성 방식이 서사의 통일성, 창의성, 사용자 참여도 향상에 어떻게 기여할 수 있는지 탐구하고자 한다.
• 사용자 피드백 및 이미지 통합의 영향을 인간-중심 환경에서 사용자 경험과 스토리 품질 측면에서 평가하고자 한다.
• 연구자들이 새로운 다중모달 스토리 생성 모델을 테스트하고 확장할 수 있도록 공개된 데모와 소스 코드를 제공하고자 한다.

제안 방법

• FairyTailor는 이전 서사적 맥락과 검색된 이미지 특징을 모두 조건으로 삼아 주제의 통일성을 유지하는 순차적 언어-시각 프레임워크를 활용한다.
• 의미적 유사도를 기반으로 현재 스토리 세그먼트와 유사한 이미지를 데이터셋(예: visualGenome)에서 검색하는 기반 기반 이미지 시스템을 사용한다.
• 자신감 있는 언어 모델을 미세조정하여 현재 스토리 상태와 시각적 맥락을 기반으로 동적으로 자동완성 제안을 생성하며, 다양성과 관련성을 향상시키기 위해 재정렬을 수행한다.
• 사용자가 AI가 생성한 텍스트 및 이미지 제안을 수락, 거부 또는 편집할 수 있는 실시간 상호작용을 지원하며, 피드백은 향후 생성을 안내하는 데 사용된다.
• 플랫폼은 사용자 입력을 주된 서사 동력으로 삼고, AI는 창의적이고 맥락 인식 기반의 완성으로 아이디어를 보완하고 흐름을 유지한다.
• 사용자 상호작용(예: 삭제, 수락)을 캡처하는 피드백 루프를 통해 향후 제안을 사용자 중심으로 개선함으로써 생성 과정의 개인화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 텍스트와 이미지를 조합한 다중모달 생성 방식이 상호작용 기반 스토리 공동 창작에서 서사의 통일성과 창의성을 어떻게 향상시킬 수 있는가?
• RQ2 사용자 피드백 및 이미지 검색을 통합할 경우 인간-중심 스토리텔링 시스템에서 사용자 참여도와 스토리 품질 향상 정도는 어느 정도인가?
• RQ3 다양한 유형의 AI 생성 완성(예: 텍스트 전용 대비 텍스트+이미지)은 사용자의 인식과 스토리 발전에 어떤 영향을 미치는가?
• RQ4 실시간 이미지 및 텍스트 제안을 제공하는 동적인 상호작용 플랫폼은 플롯 이탈 없이 장기적인 서사 진행을 유지할 수 있는가?
• RQ5 어린이 동화 생성에서 이미지의 관련성과 스타일은 사용자 수용도와 인식된 스토리 품질에 어떤 역할을 하는가?

주요 결과

• 사용자들은 AI 자동완성 제안이 창의적이고 맥락에 부합할 경우 작문 블록을 극복하고 서사의 흐름을 유지하는 데 도움이 되었다고 보고했다.
• 검색된 이미지를 포함한 스토리는 인식된 품질에서 높은 평가를 받았으며, 사용자들은 이미지가 참여도와 서사 명확성을 향상시켰다고 언급했다.
• 표준 자동완성 제안은 약 50–75%의 사용자가 반복적이거나 톤이 맞지 않아 기각했지만, 더 높은 품질의 맥락 인식 기반 제안이 제공된 이후 이 비율은 0–25%로 감소했다.
• 사용자 피드백(삭제 및 선택 포함)은 상호작용 피드백 루프가 사용자 특정 의도에 맞게 모델을 안내하고 개인화를 향상시킬 수 있음을 보여주었다.
• 공개된 데모와 오픈소스 코드 덕분에 새로운 스토리 생성 모델의 빠른 구현 및 평가가 가능해져 향후 다중모달 NLG 분야의 연구를 지원한다.
• 사용자들은 스타일 전이, 스토리 끝 자동완성, 사용자 제공 스타일에 의한 미세조정 등의 향후 기능에 강한 관심을 보였으며, 더 높은 맞춤화 수요가 있음을 시사한다.