[논문 리뷰] ReelFramer: Human-AI Co-Creation for News-to-Video Translation

Sitong Wang, Samia Menon외 7명|arXiv (Cornell University)|2023. 04. 19.

Semantic Web and Ontologies인용 수 9

한 줄 요약

ReelFramer는 프레이밍과 기초 단계를 사용하여 LLM과 이미지 모델이 뉴스 기사를 일관되고 매력적인 뉴스 릴로 번역하도록 안내하는 인간-AI 공동 창작 워크플로를 제시합니다. 제어된 연구는 전제 주도 프롬pts가 프레이밍 준수, 정보 커버리지, 일관성을 향상시킨다는 것을 보여줍니다.

ABSTRACT

Short videos on social media are the dominant way young people consume content. News outlets aim to reach audiences through news reels -- short videos conveying news -- but struggle to translate traditional journalistic formats into short, entertaining videos. To translate news into social media reels, we support journalists in reframing the narrative. In literature, narrative framing is a high-level structure that shapes the overall presentation of a story. We identified three narrative framings for reels that adapt social media norms but preserve news value, each with a different balance of information and entertainment. We introduce ReelFramer, a human-AI co-creative system that helps journalists translate print articles into scripts and storyboards. ReelFramer supports exploring multiple narrative framings to find one appropriate to the story. AI suggests foundational narrative details, including characters, plot, setting, and key information. ReelFramer also supports visual framing; AI suggests character and visual detail designs before generating a full storyboard. Our studies show that narrative framing introduces the necessary diversity to translate various articles into reels, and establishing foundational details helps generate scripts that are more relevant and coherent. We also discuss the benefits of using narrative framing and foundational details in content retargeting.

연구 동기 및 목표

• 젊은 시청자에게 다가가기 위해 뉴스 기사를 짧은 소셜 미디어 릴로 번역하는 새로운 공동 창작 도구를 고무한다.
• 중간 프레이밍 및 기초 단계가 AI가 생성한 대본과 스토리보드에 어떤 영향을 주는지 조사한다.
• 전제 기반 프롬프트가 대본 품질, 정보 정확성 및 일관성을 향상시키는지 평가한다.
• 뉴스 릴에서 정보와 엔터테인먼트를 균형 있게 조화시키는 서사 프레이밍을 식별한다.
• 저널리즘 맥락에서 실행 가능한 프롬프트 기술 및 워크플로 가이드라인을 제공한다.

제안 방법

• 영상물 프레이밍(설명 대화, 재연, 코미디적 비유)과 기초(대본 전제, 스토리보드 캐릭터 보드)를 포함한 AI 출력을 안내하는 3단계 프레이밍 및 기초 워크플로를 도입한다.
• GPT-4를 사용해 기사 요소를 추출하고, 전제를 생성하고, 대본을 초안하며, 캐릭터 보드와 스토리보드를 텍스트-투-이미지 모델(예: DALL-E)을 통해 생성한다.
• 저널리스트가 각 단계에서 AI 출력물을 수락, 재생성 또는 편집하도록 하여 정확성과 통제력을 유지한다.
• 정보가 풍부한 여섯 가지 차원에서 프레임 전제 여부에 따라 생성된 대본을 평가하는 전문가 저널리스트를 대상으로 통제된 주석 연구를 수행한다.
• 정량적 평가(평균, 표준편차)를 수집·분석하고 조건을 비교하기 위해 짝지음 윌콕슨 검정을 수행한다.
• 재현성을 지원하기 위해 프롬프트 요건과 스크립트 생성 매개변수(스크립트 스타일/콘텐츠 매개변수)를 문서화한다.

실험 결과

연구 질문

• RQ1 프레이밍 및 기초를 확립하는 것이 AI가 생성한 뉴스 릴 대본과 스토리보드의 일관성과 정보성을 향상시키는가?
• RQ2 세 가지 서사 프레이밍(설명 대화, 재연, 코믹 유추)이 정보와 엔터테인먼트를 균형 있게 비교하는가?
• RQ3 뉴스 릴 공동 창작 워크플로에서 전제, 대본, 스토리보드 생성을 위한 효과적인 프롬프트 기법은 무엇인가?
• RQ4 전제 기반 생성이 AI 보조 저널리즘 도구에서 정보 정확도와 프레이밍 준수를 향상시킬 수 있는가?

주요 결과

질문	전제 없음(평균, SD)	전제 있음(평균, SD)	p값
Q1: 프레이밍에의 준수	5.58 (1.89)	6.95 (0.14)	.028
Q2: 정보 정확도	6.67 (0.55)	6.83 (0.55)	.165
Q3: 중요한 정보 다룸	4.63 (1.23)	5.50 (1.43)	.034
Q4: 대본의 일관성	4.63 (1.46)	5.92 (0.79)	.011
Q5: 재미/오락성	4.29 (1.46)	4.67 (1.49)	.236
Q6: TikTok 스타일	6.50 (0.65)	6.51 (0.54)	.237

• 전제 기반(전제 있음) 대본 생성은 프레이밍에 대한 준수를 크게 향상시킨다(p = .028).
• 전제 있는 대본은 전제가 없는 대본보다 더 중요한 정보를 다룬다(p = .034).
• 전제 있는 대본은 전제 없는 대본보다 더 일관된다(p = .011).
• 전제 포함 출력은 전반적으로 여러 차원에서 더 높은 점수를 받는 경향이 있어 중간 전제 단계의 이점을 시사한다.
• 평가자들은 대본 주석에 대해 상당한 평가자 간 신뢰도(Cohen의 κ = .71)를 보였다.