[논문 리뷰] Innovative Digital Storytelling with AIGC: Exploration and Discussion of Recent Advances

Rongzhang Gu, Hui Li외 2명|arXiv (Cornell University)|2023. 09. 25.

Digital Storytelling and Education인용 수 6

한 줄 요약

이 논문은 프로토타입 프로젝트인 'Naked Monkey’s Happy Discovery'를 통해 디지털 스토리텔링에 인공지능 생성 콘텐츠(AIGC)를 통합하는 방식을 탐구하며, 스크립트, 시각적 요소, 애니메이션, 오디오를 모두 AIGC 기반으로 생성하는 완전한 파이프라인을 구현한다. 이미지, 음성, 음악 생성 측면에선 높은 효율성과 품질을 보였지만, 복잡한 캐릭터 애니메이션과 표현적 미학 측면에선 AIGC가 여전히 한계를 드러내며, 인간의 창의성과 판단 역할이 대체할 수 없는 바를 확인한다.

ABSTRACT

Digital storytelling, as an art form, has struggled with cost-quality balance. The emergence of AI-generated Content (AIGC) is considered as a potential solution for efficient digital storytelling production. However, the specific form, effects, and impacts of this fusion remain unclear, leaving the boundaries of AIGC combined with storytelling undefined. This work explores the current integration state of AIGC and digital storytelling, investigates the artistic value of their fusion in a sample project, and addresses common issues through interviews. Through our study, we conclude that AIGC, while proficient in image creation, voiceover production, and music composition, falls short of replacing humans due to the irreplaceable elements of human creativity and aesthetic sensibilities at present, especially in complex character animations, facial expressions, and sound effects. The research objective is to increase public awareness of the current state, limitations, and challenges arising from combining AIGC and digital storytelling.

연구 동기 및 목표

• 디지털 스토리텔링 제작에서 AIGC의 현재 상태와 잠재력을 조사하기 위해.
• 완전히 AIGC로 생성된 디지털 스토리텔링 콘텐츠의 예술적 품질과 기술적 실현 가능성을 평가하기 위해.
• 표현적인 얼굴 표정, 캐릭터 애니메이션, 사운드 효과 등 복잡한 서사 요소에서 AIGC의 주요 한계를 특정하기 위해.
• AIGC 도입 과정에서 발생하는 윤리적, 기술적, 창의적 과제에 대한 전문가의 통찰을 수집하기 위해.
• 사람 중심의 설계와 미학적 일관성을 강조함으로써 향후 AIGC 도구 개발을 이끄는 데 기여하기 위해.

제안 방법

• 스크립트, 이미지, 애니메이션, 오디오, 영상 생성에 모두 AIGC 도구를 사용한 프로토타입 디지털 스토리, 'Naked Monkey’s Happy Discovery'를 개발하였다.
• 텍스트에서 이미지 생성, 텍스트에서 음성 생성, 텍스트에서 음악 생성, 텍스트에서 애니메이션 생성 모델을 통합한 다단계 AIGC 파이프라인을 구현하였다.
• 최종 데모의 통합성을 확보하기 위해 전문가용 Adobe 소프트웨어를 활용해 AIGC 출력물을 편집하고 보완하였다.
• 기술적, 윤리적, 미학적 우려 사항을 평가하기 위해 창작 산업 전문가들과 인터뷰를 실시하였다.
• 입력 방식, 소요 시간, 비용, 인간 노동량 측면에서 AIGC와 전통적 디지털 스토리텔링 워크플로우를 비교하였다.
• 출력 품질과 일관성에 대한 기술적 평가 및 정성적 피드백을 통해 결과를 분석하였다.

실험 결과

연구 질문

• RQ1 AIGC는 디지털 스토리텔링 제작에서 인간 창작자를 얼마나 완전히 대체할 수 있는가?
• RQ2 AIGC가 생성한 시각적 요소, 오디오, 애니메이션 요소는 인간이 제작한 콘텐츠와 비교해 품질과 서사 일관성 측면에서 어떻게 다른가?
• RQ3 현재 AIGC 도구가 복잡한 감정 표현과 캐릭터 간 상호작용을 어떻게 표현하는 데 주요한 한계를 보이는가?
• RQ4 창작 전문가들은 AIGC가 스토리텔링에 미치는 윤리적 및 예술적 영향을 어떻게 평가하는가?
• RQ5 AIGC 기반 창작 파이프라인에서 인간 창의성은 어떤 역할을 해야 하는가?

주요 결과

• AIGC는 정적 이미지, 오디오 내레이션, 배경 음악 생성 측면에선 높은 효율성과 품질을 보인다.
• AIGC는 일관되고 표현력 있는 캐릭터 애니메이션, 얼굴 표정, 세밀한 사운드 효과 생성에 어려움을 겪으며, 인간의 간섭이 필요하다.
• 전문가들은 AIGC에 과도하게 의존할 경우 인간의 예술적 주도성과 미학적 판단력이 약화될 수 있다는 우려를 제기한다.
• AIGC를 창작 워크플로우에 통합할 경우 저작권, 개인정보, 데이터 기원과 관련된 심각한 윤리적 문제를 야기할 수 있다.
• 현재 AIGC 도구는 표준화된 평가 기준이 부족하여 출력 품질의 일관성이 떨어지고, 예술적 통일성이 제한된다.
• 특히 감정적으로 복잡한 서사에서는 인간 창의성이 아이디어 기획, 개념 개발, 미학적 보완 과정에서 여전히 필수적이다.