[논문 리뷰] MetaAID: A Flexible Framework for Developing Metaverse Applications via AI Technology and Human Editing

Hongyin Zhu|arXiv (Cornell University)|2022. 04. 04.

Virtual Reality Applications and Impacts인용 수 23

한 줄 요약

MetaAID는 AI 기술과 인간 편집을 결합한 경량의 세 계층 프레임워크를 제시하여 여러 산업에서의 협업 메타버스 애플리케이션 개발을 지원하며, 엔터테인먼트, 교육, 소비 분야의 다섯 가지 애플리케이션을 통해 시연됩니다.

ABSTRACT

Achieving the expansion of domestic demand and the economic internal circulation requires balanced and coordinated support from multiple industries (domains) such as consumption, education, entertainment, engineering infrastructure, etc., which is indispensable for maintaining economic development. Metaverse applications may help with this task and can make many industries more interesting, more efficient, and provide a better user experience. The first challenge is that metaverse application development inevitably requires the support of various artificial intelligence (AI) technologies such as natural language processing (NLP), knowledge graph (KG), computer vision (CV), and machine learning (ML), etc. However, existing metaverse application development lacks a lightweight AI technology framework. This paper proposes a flexible metaverse AI technology framework metaAID that aims to support language and semantic technologies in the development of digital twins and virtual humans. The second challenge is that the development process of metaverse applications involves both technical development tasks and manual editing work, and often becomes a heavyweight multi-team collaboration project, not to mention the development of metaverse applications in multiple industries. Our framework summarizes common AI technologies and application development templates with common functional modules and interfaces. Based on this framework, we have designed 5 applications for 3 industries around the expansion of domestic demand and economic internal circulation. Experimental results show that our framework can support AI technologies when developing metaverse applications in different industries.

연구 동기 및 목표

• 여러 산업에 걸친 메타버스 애플리케이션을 지원하기 위한 경량의 협업 AI 스택의 필요성을 제고한다.
• 멀티팀 협업과 템플릿 재사용을 가능하게 하는 세 계층 MetaAID 프레임워크(앱 개발, AI 기술, 사람 편집)를 제안한다.
• 민첩한 콘텐츠 생성을 가속화하기 위한 인간–기계 협업 템플릿 저장소를 만든다.
• 다른 산업 간의 범용성과 효용성을 보여주기 위해 세 가지 산업에 걸친 다섯 개의 애플리케이션을 개발하여 프레임워크를 시연한다.

제안 방법

• 세 계층 프레임워크 아키텍처를 정의한다: 앱 개발 계층(프런트엔드/백엔드 템플릿, 데이터 저장, 배포 및 유지 관리), AI 기술 계층(NLP, KG, 알고리즘, 데이터 파이프라인), 그리고 사람 편집 계층(편집 도구, 표준, 크롤러, 소프트웨어).
• AI 기술 스택의 축적 문제를 해결하기 위해 8년 간의 AI 프레임워크와 솔루션을 집대성하여 기술 스택을 구성한다.
• 빠르고 고품질 편집 및 제작을 지원하기 위한 재사용 가능한 인간–기계 템플릿과 콘텐츠 템플릿 저장소를 개발한다.
• 인터엔터테인먼트, 교육, 소비 분야의 다섯 애플리케이션을 다중 플랫폼(웹사이트, iOS, WeChat 미니프로그램)에서 구현하여 상호 운용성 및 실용성을 평가한다.
• 배포 및 운영유지(O&M)를 위해 NLP, KG, CV/ML 도구 및 클라우드 서비스를 활용하고, 디지털 트윈과 가상 인간을 메타버스 구성 요소로 활용한다.

실험 결과

연구 질문

• RQ1 경량의 유연한 프레임워크가 AI 기술과 인간 편집을 어떻게 통합하여 산업 간 메타버스 애플리케이션 개발을 지원할 수 있는가?
• RQ2 템플릿과 모듈식 구성 요소의 공유 저장소가 협업을 간소화하고 다수의 산업에서 개발 부담을 줄일 수 있는가?
• RQ3 MetaAID로 구축된 다섯 개의 프로토타입 애플리케이션이 엔터테인먼트, 교육, 소비 부문에 걸친 프레임워크의 적응성을 보여주는가?

주요 결과

• 해당 프레임워크는 세 가지 산업에 걸친 메타버스 애플리케이션 개발에서 AI 지원 개발을 가능하게 한다.
• 프레임워크를 검증하기 위해 세 플랫폼에 걸친 다섯 개의 애플리케이션이 개발되었다.
• NLP, KG, 및 ML 구성 요소가 인간 편집 계층과 성공적으로 통합되어 대화형 메타버스 콘텐츠를 생산했다.
• 재사용 가능한 템플릿 저장소는 민첩한 인간–기계 협업 및 콘텐츠 제작을 지원한다.
• 실험 설정 및 결과는 프레임워크가 연합 데이터 분석 및 애플리케이션 간 협업을 통해 다중 산업 메타버스 개발을 지원할 수 있음을 시사한다.