[論文レビュー] Steps towards prompt-based creation of virtual worlds

Jasmine Roberts, Andrzej Banburski-Fahey+1 more|arXiv (Cornell University)|Nov 10, 2022

Artificial Intelligence in Games被引用数 6

ひとこと要約

本論文では、Codex などの大規模言語モデルを活用し、VR 内で直接プロンプト駆動型のリアルタイム仮想世界生成を可能にする手法を提案している。Codex VR ピンゴンでは、自然言語プロンプトが動的に 3D オブジェクトを意味的に整合性のあるインタラクティブなエンティティに変換する非決定的プレイを実証しており、例えばボールを衝突時に fried egg に変換するなど、その例が挙げられる。主な貢献は、生成的 AI がゲーム開発からゲームプレイへシフト可能であることを示したことであり、生成的 AI が参加者同士が共同で創り出す、発生的で即興的な VR 経験を可能にするものである。

ABSTRACT

Large language models trained for code generation can be applied to speaking virtual worlds into existence (creating virtual worlds). In this work we show that prompt-based methods can both accelerate in-VR level editing, as well as can become part of gameplay rather than just part of game development. As an example, we present Codex VR Pong which shows non-deterministic game mechanics using generative processes to not only create static content but also non-trivial interactions between 3D objects. This demonstration naturally leads to an integral discussion on how one would evaluate and benchmark experiences created by generative models - as there are no qualitative or quantitative metrics that apply in these scenarios. We conclude by discussing impending challenges of AI-assisted co-creation in VR.

研究の動機と目的

• 自然言語駆動の VR 内シーン生成を可能にすることで、大規模言語モデルが VR コンテンツ作成をどのように加速・変革できるかを検討すること。
• コード生成 LLM（例：Codex）をゲームエンジンに統合し、リアルタイムでインタラクティブな世界構築を可能にする方法を調査すること。
• プロンプト駆動の AI 生成が、単なる開発ツールではなく、ゲームプレイのコアなメカニクスとして機能できることを実証すること。
• 開放的かつ発生的インタラクションを伴う AI 共同生成仮想世界における技術的課題と評価のギャップを特定すること。
• 将来的な AI 共同生成の VR 応用、特に動的環境やユーザー主導の即興的ワールドビルドの可能性を想定すること。

提案手法

• 自然言語プロンプトを実行可能コードに変換する OpenAI Codex を Unity ゲームエンジンと統合し、3D オブジェクトの作成とインタラクションを可能にする。
• プロンプト駆動生成を用いて、ゲームオブジェクト（例：パドルやボール）を意味的に整合性のある物理的挙動を備えた任意の 3D エンティティに動的に変換する。
• 自然言語記述から仮想環境全体を生成するホロデック風のシステムを実装する。
• AI 生成オブジェクトモデルを用いて、ユーザーの手をリアルタイムでツールに変換するインタラクションを拡張する。
• テキストからコード（Codex）とテキストから 3D（例：DreamFusion スタイル）のモデルを統合することで、より豊富なシーン生成を実現する。
• 生成されたコンテンツをリアルタイム VR 環境でテストし、プロンプトとインタラクションの反復的改善を可能にするフィードバックループを設計する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルを用いて、VR 環境内でリアルタイムにインタラクティブな 3D シーンと挙動を直接生成できるか？
• RQ2 プロンプト駆動の AI 生成をゲームプレイメカニクスに統合することで、AI 生成オブジェクト間の非決定的かつ発生的インタラクションをどのように実現できるか？
• RQ3 コード生成 LLM をリアルタイムゲームエンジンと組み合わせることで、VR コンテンツ作成においてどのような技術的課題が生じるか？
• RQ4 コンテンツやルールが変更可能で開放的であるため、従来のメトリクスが適用できない状況において、AI 生成 VR 経験の質をどのように評価できるか？
• RQ5 ユーザーが仮想世界を「話す」ことで生成できる新たなユーザーインタラクションおよび共同創造のモードは何か？

主な発見

• 著者らは、自然言語プロンプトによってパドルやボールが任意の 3D オブジェクトに変換され、意味的に整合性のある方法で相互作用する VR ゲーム「Codex VR ピンゴン」を成功裏に実装した。例えば、パンでフライドエッグに変化するなど、その例が挙げられる。
• 本システムは、LLM が開発者が事前にプログラムしなかった非決定的で発生的プレイメカニクスを可能にできることを示しており、即興的な AI 共同生成の可能性を実証している。
• 技術的課題には、モデル推論の遅延、プロンプトの最適化のためのフィードバックループ、アニメーションの自動化、信頼性のある 3D モデルリポジトリの選定が含まれる。
• 本論文では、コンテンツやルールが変更可能で開放的であるため、AI 生成 VR 経験に対する客観的評価メトリクスの欠如が顕著に指摘された。
• 評価は、質的ユーザーフィードバックやプレイセッションの創造性を LLM を用いてスコアリングする方法に依存する可能性があるが、標準化されたベンチマークは現在存在しない。
• 今後のシステムでは、テキストからコード（Codex）とテキストから 3D（例：DreamFusion）のモデルを統合することで、VR ワールドビルドにおける完全な生成的柔軟性を実現する必要があると示唆している。