[论文解读] MetaAID: A Flexible Framework for Developing Metaverse Applications via AI Technology and Human Editing

Hongyin Zhu|arXiv (Cornell University)|Apr 4, 2022

Virtual Reality Applications and Impacts被引用 23

一句话总结

MetaAID 提出一个轻量级的三层框架，结合 AI 技术与人类编辑，以支持跨多个行业的协作元宇宙应用开发，并通过在娱乐、教育和消费领域的五个应用进行演示。

ABSTRACT

Achieving the expansion of domestic demand and the economic internal circulation requires balanced and coordinated support from multiple industries (domains) such as consumption, education, entertainment, engineering infrastructure, etc., which is indispensable for maintaining economic development. Metaverse applications may help with this task and can make many industries more interesting, more efficient, and provide a better user experience. The first challenge is that metaverse application development inevitably requires the support of various artificial intelligence (AI) technologies such as natural language processing (NLP), knowledge graph (KG), computer vision (CV), and machine learning (ML), etc. However, existing metaverse application development lacks a lightweight AI technology framework. This paper proposes a flexible metaverse AI technology framework metaAID that aims to support language and semantic technologies in the development of digital twins and virtual humans. The second challenge is that the development process of metaverse applications involves both technical development tasks and manual editing work, and often becomes a heavyweight multi-team collaboration project, not to mention the development of metaverse applications in multiple industries. Our framework summarizes common AI technologies and application development templates with common functional modules and interfaces. Based on this framework, we have designed 5 applications for 3 industries around the expansion of domestic demand and economic internal circulation. Experimental results show that our framework can support AI technologies when developing metaverse applications in different industries.

研究动机与目标

• 阐明需要一个轻量级、协作式的 AI 技术栈，以支持跨多个行业的元宇宙应用。
• 提出一个三层的 MetaAID 框架（应用开发、AI 技术和人工编辑），以实现多团队协作与模板复用。
• 创建一个人机协作模板库，以加速敏捷内容创建。
• 通过在三个行业开发五个应用来演示该框架，以展示跨领域的适用性和有效性。

提出的方法

• 定义一个三层框架架构：应用开发层（前端/后端模板、数据存储、部署与维护）、AI 技术层（NLP、KG、算法和数据管道）、以及人工编辑层（编辑工具、标准、爬虫和软件）。
• 通过整合八年的 AI 框架和解决方案来组装一个技术栈，以应对 AI 技术栈的积累挑战。
• 开发一个可重复使用的人机模板和内容模板库，以支持快速、高质量的编辑与生产。
• 在三个行业（娱乐、教育、消费）上，在多个平台（网站、iOS、WeChat 小程序）实现五个应用，以评估互操作性与实用性。
• 以数字孪生和虚拟人作为聚焦的元宇宙组件，利用 NLP、KG、CV/ML 工具以及云服务进行部署与运维。

实验结果

研究问题

• RQ1 轻量级、灵活的框架如何将 AI 技术与人类编辑结合起来，以支持跨行业的元宇宙应用开发？
• RQ2 一个共享的模板和模块组件库是否能简化协作、降低跨多行业的开发工作量？
• RQ3 使用 MetaAID 构建的五个原型应用是否能展示该框架在娱乐、教育和消费领域的适配性？

主要发现

• 该框架实现了跨三个行业的元宇宙应用的 AI 辅助开发。
• 开发了在三种平台上的五个应用以验证框架。
• NLP、KG 与 ML 组件已与人类编辑层成功集成，以生成互动元宇宙内容。
• 一个可重复使用的模板库支持敏捷的人机协作与内容创建。
• 实验设置与结果表明，该框架能够通过联邦数据分析与应用间协作来支撑多行业元宇宙开发。