[論文レビュー] Innovative Digital Storytelling with AIGC: Exploration and Discussion of Recent Advances

Rongzhang Gu, Hui Li+2 more|arXiv (Cornell University)|Sep 25, 2023

Digital Storytelling and Education被引用数 6

ひとこと要約

本論文は、プロトタイププロジェクト「Naked Monkey’s Happy Discovery」を通じて、AI生成コンテンツ（AIGC）をデジタル・ストーリーテリングに統合する方法を検討し、スクリプト、ビジュアル、アニメーション、オーディオをすべてAIGCで生成する完全なパイプラインを実証した。画像、ボイス、音楽生成においては高い効率性と品質を示したが、複雑なキャラクターのアニメーションや表現的な美意識の分野ではAIGCに限界があり、人間の創造性と判断力の不可欠な役割が浮き彫りになった。

ABSTRACT

Digital storytelling, as an art form, has struggled with cost-quality balance. The emergence of AI-generated Content (AIGC) is considered as a potential solution for efficient digital storytelling production. However, the specific form, effects, and impacts of this fusion remain unclear, leaving the boundaries of AIGC combined with storytelling undefined. This work explores the current integration state of AIGC and digital storytelling, investigates the artistic value of their fusion in a sample project, and addresses common issues through interviews. Through our study, we conclude that AIGC, while proficient in image creation, voiceover production, and music composition, falls short of replacing humans due to the irreplaceable elements of human creativity and aesthetic sensibilities at present, especially in complex character animations, facial expressions, and sound effects. The research objective is to increase public awareness of the current state, limitations, and challenges arising from combining AIGC and digital storytelling.

研究の動機と目的

• AIGCがデジタル・ストーリーテリング制作における現在の状態と可能性を調査すること。
• 完全にAIGCで生成されたデジタル・ストーリーの芸術的品質と技術的実現可能性を評価すること。
• 顔の表情、キャラクターのアニメーション、サウンドエフェクトといった複雑な物語的要素におけるAIGCの主な限界を特定すること。
• AIGCの導入に伴う倫理的・技術的・創造的課題についての専門家の知見を収集すること。
• 人間中心の設計と美的整合性を重視することで、今後のAIGCツール開発を支援すること。

提案手法

• スクリプト、画像、アニメーション、オーディオ、動画生成にすべてAIGCツールを用いて、『Naked Monkey’s Happy Discovery』というプロトタイプのデジタル・ストーリーを開発した。
• テキストから画像への変換、テキストから音声への変換、テキストから音楽への変換、テキストからアニメーションへの変換モデルを統合したマルチステージのAIGCパイプラインを採用した。
• 完成度の高い最終デモを統合するために、プロフェッショナルなAdobeソフトウェアを用いてAIGCの出力を編集・調整した。
• 技術的・倫理的・美的懸念を評価するために、クリエイティブ業界の専門家とのインタビューを実施した。
• 入力形式、所要時間、コスト、人的労力の観点から、AIGCと従来のデジタル・ストーリーテリングワークフローを比較した。
• 出力品質と一貫性の技術的評価に加え、定性的フィードバックを通じて結果を分析した。

実験結果

リサーチクエスチョン

• RQ1 AIGCはデジタル・ストーリーテリング制作において、人間のクリエイターを完全に代替できるか。
• RQ2 AIGCで生成されたビジュアル、オーディオ、アニメーション要素は、人間が制作したコンテンツと比べて、品質と物語の一貫性においてどの程度の水準にあるか。
• RQ3 現在のAIGCツールが、複雑な感情表現やキャラクター間のダイナミクスを表現するうえで直面する主な限界は何か。
• RQ4 クリエイティブプロフェッショナルは、ストーリーテリングにおけるAIGCの倫理的・芸術的影響をどのように捉えているか。
• RQ5 AIGC駆動のクリエイティブパイプラインにおいて、人間の創造性が果たすべき役割は何か。

主な発見

• AIGCは静的画像、ナレーション、バックグラウンド音楽の生成において、高い効率性と品質を発揮する。
• 一貫性があり表現的なキャラクターのアニメーション、顔の表情、繊細なサウンドエフェクトの生成においてはAIGCに課題があり、人的な介入が不可欠である。
• 専門家は、AIGCへの過度な依存が人間の芸術的主体性や美的判断力を損なう可能性があると懸念している。
• AIGCをクリエイティブワークフローに統合することは、著作権、プライバシー、データの出所に関する重大な倫理的問題を引き起こす。
• 現在のAIGCツールには標準化された評価基準がなく、出力品質のばらつきや芸術的一貫性の欠如が生じている。
• 特に感情的な複雑さを含む物語において、人間の創造性はアイデーション、コンセプト開発、美的精錬の段階で不可欠な役割を果たしている。