[论文解读] Innovative Digital Storytelling with AIGC: Exploration and Discussion of Recent Advances

Rongzhang Gu, Hui Li+2 more|arXiv (Cornell University)|Sep 25, 2023

Digital Storytelling and Education被引用 6

一句话总结

本文通過原型項目「光頭猴子的快樂發現」探討了人工智能生成內容（AIGC）在數位敘事中的整合，展示了一套完全由AIGC驅動的腳本、視覺、動畫與音訊生成流程。儘管在圖像、語音與音樂生成方面表現出高效率與高品質，AIGC在複雜角色動畫與表達性美學方面仍顯不足，凸顯了人類創造力與判斷力不可替代的角色。

ABSTRACT

Digital storytelling, as an art form, has struggled with cost-quality balance. The emergence of AI-generated Content (AIGC) is considered as a potential solution for efficient digital storytelling production. However, the specific form, effects, and impacts of this fusion remain unclear, leaving the boundaries of AIGC combined with storytelling undefined. This work explores the current integration state of AIGC and digital storytelling, investigates the artistic value of their fusion in a sample project, and addresses common issues through interviews. Through our study, we conclude that AIGC, while proficient in image creation, voiceover production, and music composition, falls short of replacing humans due to the irreplaceable elements of human creativity and aesthetic sensibilities at present, especially in complex character animations, facial expressions, and sound effects. The research objective is to increase public awareness of the current state, limitations, and challenges arising from combining AIGC and digital storytelling.

研究动机与目标

• 探討AIGC在數位敘事製作中的現狀與潛力。
• 評估完全由AIGC生成的數位敘事在藝術品質與技術可行性方面的表現。
• 識別AIGC在複雜敘事元素（如面部表情、角色動畫與音效）方面的主要限制。
• 收集專家對AIGC採用過程中所面臨的倫理、技術與創意挑戰的見解。
• 透過強調以人為本的設計與美學完整性，為未來AIGC工具的發展提供指導。

提出的方法

• 使用僅由AIGC工具生成腳本、影像、動畫、音訊與影片的原型數位故事「光頭猴子的快樂發現」。
• 採用多階段AIGC流程，整合文字轉圖像、文字轉語音、文字轉音樂與文字轉動畫模型。
• 使用專業的Adobe軟體將AIGC輸出組合並精修，形成最終的示範作品。
• 對創意產業專業人士進行訪談，以評估技術、倫理與美學方面的關注。
• 比較AIGC與傳統數位敘事工作流程在輸入類型、時間、成本與人力投入方面的差異。
• 透過質性反饋與輸出品質與一致性之技術評估分析結果。

实验结果

研究问题

• RQ1 AIGC在多大程度上能完全取代人類創作者在數位敘事製作中的角色？
• RQ2 AIGC生成的視覺、音訊與動畫元素在品質與敘事一致性方面，與人類創作內容相比如何？
• RQ3 目前AIGC工具在表達複雜情感與角色互動方面的主要限制為何？
• RQ4 創意專業人士如何看待AIGC在敘事中帶來的倫理與藝術影響？
• RQ5 在AIGC驅動的創意流程中，人類創造力應扮演何種角色？

主要发现

• AIGC在靜態圖像、旁白語音與背景音樂生成方面表現出高效率與高品質。
• AIGC在角色動畫的一致性與表達性、面部表情與細膩音效方面表現不佳，需依賴人工干預。
• 專家憂慮過度依賴AIGC可能削弱人類的藝術主體性與美學判斷力。
• 將AIGC整合至創意工作流程，會引發與版權、隱私與資料來源相關的重大倫理問題。
• 目前AIGC工具缺乏標準化的評估指標，導致輸出品質不一致且藝術一貫性有限。
• 人類創造力在構思、概念發展與美學精修方面依然至關重要，特別是在情感層次複雜的敘事中。