[論文レビュー] MetaAID: A Flexible Framework for Developing Metaverse Applications via AI Technology and Human Editing

Hongyin Zhu|arXiv (Cornell University)|Apr 4, 2022

Virtual Reality Applications and Impacts被引用数 23

ひとこと要約

MetaAIDは、複数の産業に跨る協働的なメタバースアプリケーション開発を支援する、AI技術と人間による編集を組み合わせた軽量な3層フレームワークを提示する。エンターテインメント、教育、消費の分野での5つのアプリケーションによって実証されている。

ABSTRACT

Achieving the expansion of domestic demand and the economic internal circulation requires balanced and coordinated support from multiple industries (domains) such as consumption, education, entertainment, engineering infrastructure, etc., which is indispensable for maintaining economic development. Metaverse applications may help with this task and can make many industries more interesting, more efficient, and provide a better user experience. The first challenge is that metaverse application development inevitably requires the support of various artificial intelligence (AI) technologies such as natural language processing (NLP), knowledge graph (KG), computer vision (CV), and machine learning (ML), etc. However, existing metaverse application development lacks a lightweight AI technology framework. This paper proposes a flexible metaverse AI technology framework metaAID that aims to support language and semantic technologies in the development of digital twins and virtual humans. The second challenge is that the development process of metaverse applications involves both technical development tasks and manual editing work, and often becomes a heavyweight multi-team collaboration project, not to mention the development of metaverse applications in multiple industries. Our framework summarizes common AI technologies and application development templates with common functional modules and interfaces. Based on this framework, we have designed 5 applications for 3 industries around the expansion of domestic demand and economic internal circulation. Experimental results show that our framework can support AI technologies when developing metaverse applications in different industries.

研究の動機と目的

• 複数の産業に跨るメタバースアプリケーションを支援するための、軽量で協調的なAIスタックの必要性を動機づける。
• マルチチーム協働とテンプレートの再利用を可能にする、3層のMetaAIDフレームワーク（アプリ開発、AI技術、そして人間編集）を提案する。
• 機敏なコンテンツ作成を加速するための人間–機械協力テンプレートのリポジトリを作成する。
• 横断的な適用性と有効性を示すため、3つの産業に跨る5つのアプリケーションを開発してフレームワークを実証する。

提案手法

• 3層のフレームワークアーキテクチャを定義する：アプリ開発層（フロントエンド/バックエンドのテンプレート、データストレージ、デプロイ、保守）、AI技術層（NLP、KG、アルゴリズム、データパイプライン）、および人間編集層（編集ツール、標準、クローラ、ソフトウェア）。
• AI技術スタックの蓄積課題に対処するため、8年間のAIフレームワークとソリューションを統合して技術スタックを組み立てる。
• 迅速で高品質な編集と制作を支援する、再利用可能な人間–機械テンプレートおよびコンテンツテンプレートのリポジトリを開発する。
• 複数のプラットフォーム（Website、iOS、WeChat mini-program）上で、3つの産業（エンターテインメント、教育、消費）に跨る5つのアプリケーションを実装し、相互運用性と実用性を評価する。
• デジタルツインと仮想人間をメタバースの核となる要素として活用し、NLP、KG、CV/MLツール、クラウドサービスを展開と運用管理のために活用する。

実験結果

リサーチクエスチョン

• RQ1 軽量で柔軟なフレームワークは、AI技術と人間編集をどのように統合して、産業横断のメタバースアプリケーション開発を支援できるか。
• RQ2 テンプレートとモジュラー部品の共有リポジトリは、協働を効率化し、複数の産業にわたる開発の負担を軽減できるか。
• RQ3 MetaAIDで構築された5つのプロトタイプアプリケーションは、エンターテインメント、教育、消費分野でのフレームワークの適応性を示しているか。

主な発見

• このフレームワークは、3つの産業に跨るメタバースアプリケーションのAI支援開発を可能にする。
• フレームワークを検証するため、3つのプラットフォームにまたがる5つのアプリケーションが開発された。
• NLP、KG、MLコンポーネントは、人間編集レイヤーと統合され、インタラクティブなメタバースコンテンツを生成することに成功した。
• 再利用可能なテンプレートリポジトリは、機敏な人間–機械協力とコンテンツ作成を支援する。
• 実験の設定と結果は、連邦データ分析とアプリ間協力を伴う多産業メタバース開発をフレームワークが支援できることを示している。