[논문 리뷰] What if we have Meta GPT? From Content Singularity to Human-Metaverse Interaction in AIGC Era

Lik‐Hang Lee, Pengyuan Zhou외 2명|arXiv (Cornell University)|2023. 04. 15.

Virtual Reality Applications and Impacts인용 수 4

한 줄 요약

이 논문은 인공지능 생성 콘텐츠(AIGC)를 콘텐츠 단일성과 인간-메타버스 상호작용의 촉매제로 삼아, 메타버스의 콘텐츠 및 사용성의 한계를 극복하기 위해 AI로 생성된 메타버스(AIGM) 프레임워크를 제안한다. 이 프레임워크는 인간-AI 협업, AI 생성, AI 지원 편집, 다중 사용자 공동 창작을 가능하게 하여 AIGC를 가상-물리 융합 세계에 깊이 통합함으로써 콘텐츠 창작의 민주화와 사용자 경험 향상을 실현한다.

ABSTRACT

The global metaverse development is facing a "cooldown moment", while the academia and industry attention moves drastically from the Metaverse to AI Generated Content (AIGC) in 2023. Nonetheless, the current discussion rarely considers the connection between AIGCs and the Metaverse. We can imagine the Metaverse, i.e., immersive cyberspace, is the black void of space, and AIGCs can simultaneously offer content and facilitate diverse user needs. As such, this article argues that AIGCs can be a vital technological enabler for the Metaverse. The article first provides a retrospect of the major pitfall of the metaverse applications in 2022. Second, we discuss from a user-centric perspective how the metaverse development will accelerate with AIGCs. Next, the article conjectures future scenarios concatenating the Metaverse and AIGCs. Accordingly, we advocate for an AI-Generated Metaverse (AIGM) framework for energizing the creation of metaverse content in the AIGC era.

연구 동기 및 목표

• 2022년대 초반 실험적 메타버스에서 콘텐츠 부족과 낮은 사용성으로 인해 발생한 메타버스 발전 정체 문제를 해결하기 위해.
• 사용자 중심 관점에서 AIGC가 메타버스 보급을 가속화하는 기술적 엔abler로 작용할 수 있는 방식을 탐색하기 위해.
• 아이디어 도출에서 콘텐츠 공유에 이르기까지 메타버스 라이프사이클 전반에 AIGC를 통합하는 개념적 프레임워크—AIGM—을 제안하기 위해.
• AIGC를 사용할 경우 공유된 가상 환경에서 주관적 존재감과 공감각의 과제를 분석하기 위해.
• 개발자뿐 아니라 사용자도 공동 창작하고 가상 세계를 함께 형성할 수 있는 인간 중심의 민주화된 콘텐츠 창작 모델을 주장하기 위해.

제안 방법

• 메타버스 콘텐츠를 위한 인간-AI 협업, AI 생성, AI 지원, 인간 편집을 통합한 파이프라인으로서 AIGM 프레임워크를 도입한다.
• 사용자가 제공한 자연어 프롬프트를 기반으로 생성형 AI 모델을 활용해 초도 콘텐츠를 생성한다.
• AI 지원 편집과 다중 사용자 협업을 통한 반복적 개선을 지원하여 콘텐츠 창작 과정을 강화한다.
• 상호작용 로직(예: 탭-활성화)을 AIGC에 통합하고, AI 기반 평가를 통해 사용자 성능 및 인지 부하를 평가한다.
• 스탠드alone 가상 세계와 물리적 인접 환경(예: AR 배경, 동적 물체 제거)에 모두 AIGC를 통합한다.
• 사용자 맥락과 주관적 존재감에 기반한 실시간, 맥락 인식 콘텐츠 적응을 가능하게 하기 위해 AIGC를 메타버스에 통합해야 한다고 제안한다.

실험 결과

연구 질문

• RQ1 AIGC는 2022년 메타버스의 보급을 저해한 콘텐츠 부족과 사용성 장벽을 어떻게 극복할 수 있는가?
• RQ2 AIGC는 메타버스에서 콘텐츠 단일성과 창작의 민주화를 어떻게 가능하게 하는가?
• RQ3 AIGC는 다중 사용자 공유 가상 환경에서 주관적 존재감과 공감각을 어떻게 지원할 수 있는가?
• RQ4 사용자 중심의 몰입형 메타버스 경험에 AIGC를 통합하기 위한 핵심 설계 원칙은 무엇인가?
• RQ5 AIGM 프레임워크는 콘텐츠 아이디어 도출, 생성, 편집, 공유 전반에 걸쳐 원활한 인간-AI 협업을 어떻게 촉진할 수 있는가?

주요 결과

• 2022년 메타버스 실험들은 막대한 투자에도 불구하고 매력적인 콘텐츠 부족과 낮은 사용성, 특히 3차원 상호작용 기술의 열악함으로 인해 실패했다.
• 명확한 상호작용 신호가 부재하여 사용자들은 3차원 UI에서 어려움을 겪고, 시행착오에 의존하며 인지 부하가 높아진다.
• 정확한 프롬프트 없이 주관적 사용자 상태(예: 침실에서의 '평온함')에 적합한 맥락 기반 콘텐츠를 생성하기 위해 현재의 AIGC 도구는 부족하다.
• AIGC는 웹 2.0이 2차원 콘텐츠 창작을 가능하게 했듯, 비기술 사용자들이 3차원 콘텐츠를 생성할 수 있도록 해주는 메타버스의 구원자가 될 수 있다.
• AIGM 프레임워크는 인간-AI 협업과 다중 사용자 공동 창작을 통합함으로써 영감에서 공유에 이르기까지 전 콘텐츠 라이프사이클을 가능하게 한다.
• 가상 공간과 물리적 인접 영역 양쪽에 AIGC를 통합하면 동적이고 정서적으로 공명하며 개인화된 가상 환경을 구현할 수 있다.