[論文レビュー] ReelFramer: Human-AI Co-Creation for News-to-Video Translation

Sitong Wang, Samia Menon+7 more|arXiv (Cornell University)|Apr 19, 2023

Semantic Web and Ontologies被引用数 9

ひとこと要約

ReelFramer は、ニュース記事を一貫性があり魅力的なニュースリールへ翻訳するためのフレーミングとファウンデーションのステップを用いた、人間とAI の共同創作ワークフローを提示する。制御された研究は、前提主導のプロンプトがフレーミング適合性、情報カバー範囲、コヒーレンスを改善することを示す。

ABSTRACT

Short videos on social media are the dominant way young people consume content. News outlets aim to reach audiences through news reels -- short videos conveying news -- but struggle to translate traditional journalistic formats into short, entertaining videos. To translate news into social media reels, we support journalists in reframing the narrative. In literature, narrative framing is a high-level structure that shapes the overall presentation of a story. We identified three narrative framings for reels that adapt social media norms but preserve news value, each with a different balance of information and entertainment. We introduce ReelFramer, a human-AI co-creative system that helps journalists translate print articles into scripts and storyboards. ReelFramer supports exploring multiple narrative framings to find one appropriate to the story. AI suggests foundational narrative details, including characters, plot, setting, and key information. ReelFramer also supports visual framing; AI suggests character and visual detail designs before generating a full storyboard. Our studies show that narrative framing introduces the necessary diversity to translate various articles into reels, and establishing foundational details helps generate scripts that are more relevant and coherent. We also discuss the benefits of using narrative framing and foundational details in content retargeting.

研究の動機と目的

• younger audiences にリーチする短いソーシャルメディアリールへニュース記事を翻訳する新規の共創ツールを動機づける。
• 中間的なフレーミングとファウンデーションのステップが AI 生成スクリプトとストーリーボードに与える影響を調査する。
• 前提主導のプロンプトがスクリプトの質、情報の正確性、コヒーレンスを改善するか評価する。
• ニュースリールにおける情報と娯楽のバランスを取る物語のフレーミングを特定する。
• ジャーナリズムの文脈での再現性を支える実用的なプロンプティング技術とワークフローガイドラインを提供する。

提案手法

• リール向けのフレーミングとファウンデーションの三段階ワークフローを導入し、AI 出力をガイドする：リールのフレーミング（説明対話、リエンactメント、コメディ的アナロジー）、ファウンデーション（スクリプトの前提、ストーリーボードのキャラクターボード）。
• GPT-4 を用いて記事要素を抽出し、前提を生成し、スクリプトを下書きし、テキストから画像へのモデル（例：DALL-E）を用いてキャラクターボードとストーリーボードを作成する。
• ジャーナリストが各段階で AI 出力を受け入れる・再生成する・編集することを許可し、正確性と統制を維持する。
• 前提の有無で生成されたスクリプトを評価する専門ジャーナリストによる制御付き注釈研究を実施し、情報量の多い6つの次元で評価する。
• 定量的評価（平均値、標準偏差）を収集・分析し、条件を比較するために対応のある Wilcoxon テストを実施する。
• 再現性を支えるためのプロンプティング要件とスクリプト作成パラメータ（スクリプトスタイル／コンテンツパラメータ）を記録する。

実験結果

リサーチクエスチョン

• RQ1 フレーミングとファウンデーションの確立は、AI生成ニュースリールのスクリプトとストーリーボードの一貫性と情報量を改善するか。
• RQ2 三つの物語フレーミング（説明対話、リエンactment、コメディ的アナロジー）は、情報と娯楽のバランスをどのように比較するか。
• RQ3 ニュースリールの共創ワークフローにおける前提、スクリプト、ストーリーボード生成の効果的なプロンプティング技術は何か。
• RQ4 前提主導の生成は、AI支援ジャーナリズムツールにおける情報の正確性とフレーミングの遵守を高め得るか。

主な発見

質問	前提なし（平均、SD）	前提あり（平均、SD）	p値
Q1: フレーミングへの適合	5.58 (1.89)	6.95 (0.14)	.028
Q2: 情報の正確さ	6.67 (0.55)	6.83 (0.55)	.165
Q3: 重要情報の包含	4.63 (1.23)	5.50 (1.43)	.034
Q4: スクリプトの一貫性	4.63 (1.46)	5.92 (0.79)	.011
Q5: 楽しさ/娯楽性	4.29 (1.46)	4.67 (1.49)	.236
Q6: TikTok スタイル	6.50 (0.65)	6.51 (0.54)	.237

• 前提ベースのスクリプト生成は、フレーミングへの適合性を有意に改善する（p = .028）。
• 前提ありのスクリプトは前提なしより重要な情報をより多く含む（p = .034）。
• 前提ありのスクリプトは前提なしよりコヒーレントである（p = .011）。
• 総じて、前提ありの出力は各次元で高いスコアを取りやすく、中間の前提ステップの利点を示す。
• ジャッジはスクリプト注釈に対して substantial inter-rater reliability（Cohen’s kappa = .71）を示した。