[논문 리뷰] Steps towards prompt-based creation of virtual worlds

Jasmine Roberts, Andrzej Banburski-Fahey외 1명|arXiv (Cornell University)|2022. 11. 10.

Artificial Intelligence in Games인용 수 6

한 줄 요약

이 논문은 Codex와 같은 대규모 언어모델을 사용하여 VR 내부에서 직접 프롬프트 기반으로 실시간으로 상호작용 가능한 가상 세계를 생성하는 것을 제안한다. Codex VR 펭귄에서 비결정론적 게임플레이는 자연어 프롬프트가 3차원 객체를 의미적으로 일관된 상호작용 가능한 실체로 동적으로 변환함으로써 구현되며, 예를 들어 공을 충격 시 프라이팬에서 스크램블 에그로 변환하는 방식이다. 주요 기여는 생성형 AI가 게임 개발을 넘어 게임 플레이로 전환될 수 있음을 보여주며, 유연하고 공창되는 VR 경험을 가능하게 한다.

ABSTRACT

Large language models trained for code generation can be applied to speaking virtual worlds into existence (creating virtual worlds). In this work we show that prompt-based methods can both accelerate in-VR level editing, as well as can become part of gameplay rather than just part of game development. As an example, we present Codex VR Pong which shows non-deterministic game mechanics using generative processes to not only create static content but also non-trivial interactions between 3D objects. This demonstration naturally leads to an integral discussion on how one would evaluate and benchmark experiences created by generative models - as there are no qualitative or quantitative metrics that apply in these scenarios. We conclude by discussing impending challenges of AI-assisted co-creation in VR.

연구 동기 및 목표

• 자연어 기반의 VR 내 장면 생성을 통해 대규모 언어모델이 VR 콘텐츠 제작을 어떻게 가속화하고 전환할 수 있는지 탐색하기 위해.
• Codex와 같은 코드 생성 LLM을 게임 엔진에 통합하여 실시간으로 상호작용 가능한 세계 구축을 위한 연구를 수행하기 위해.
• 프롬프트 기반 AI 생성이 단지 개발 도구가 아니라 핵심 게임플레이 메커니즘으로 기능할 수 있음을 입증하기 위해.
• 개방적이고 유연한 상호작용을 수반하는 AI 공동 창작 가상 세계에서의 기술적 과제와 평가 격차를 규명하기 위해.
• AI 공동 창작의 미래 응용 분야를 전망하기 위해, 특히 동적인 환경과 사용자가 즉각적으로 세계를 창조할 수 있는 능력을 포함하여.

제안 방법

• OpenAI Codex를 Unity 게임 엔진에 통합하여 자연어 프롬프트를 실행 가능한 코드로 변환함으로써 3차원 객체 생성 및 상호작용을 가능하게 하였다.
• 프롬프트 기반 생성을 통해 게임 객체(예: 팬디와 볼)를 의미적으로 타당한 물리적 행동을 갖는 임의의 3차원 실체로 동적으로 변환하였다.
• 자연어 기반 설명으로부터 전체 가상 환경을 생성하는 Holodeck 유사 시스템을 구현하였다.
• AI 생성된 객체 모델을 통해 사용자 손을 실시간으로 도구로 변환함으로써 사용자 상호작용을 확장하였다.
• 텍스트-코드(Codex)와 텍스트-3D(DreamFusion 스타일) 모델을 결합하여 더 풍부한 장면 생성을 위한 다중모odal 기능을 활용하였다.
• 생성된 콘텐츠를 실시간 VR 환경에서 테스트하여 프롬프트와 상호작용의 반복적 개선을 가능하게 하는 피드백 루프를 설계하였다.

실험 결과

연구 질문

• RQ1 대규모 언어모델을 사용하여 VR 환경 내에서 실시간으로 상호작용 가능한 3차원 장면과 행동을 직접 생성할 수 있는가?
• RQ2 프롬프트 기반 AI 생성이 게임플레이 메커니즘에 어떻게 통합되어 AI가 생성한 객체 간 비결정론적이고 유연한 상호작용을 가능하게 할 수 있는가?
• RQ3 실시간 게임 엔진과 코드 생성 LLM을 결합하여 VR 콘텐츠 제작을 수행할 때 발생하는 기술적 과제는 무엇인가?
• RQ4 콘텐츠와 규칙이 유연하고 개방적인 창작적 출력을 내기 때문에 전통적 평가 지표가 적용되지 않을 경우, AI 생성 VR 경험의 품질을 어떻게 평가할 수 있는가?
• RQ5 사용자가 '말로' 가상 세계를 창조할 수 있게 되면 어떤 새로운 상호작용 방식과 공동 창작이 가능해지는가?

주요 결과

• 저자는 자연어 프롬프트가 팬디와 볼을 의미적으로 일관된 방식으로 상호작용 가능한 임의의 3차원 실체로 변환하는 VR 게임인 Codex VR 펭귄을 성공적으로 구현하였다. 예를 들어, 공이 패닉에 충격을 받을 때 프라이드 에그로 변환되는 식이다.
• 시스템은 LLM이 개발자가 사전에 프로그래밍하지 않은 비결정론적이고 유연한 게임플레이 메커니즘을 가능하게 하며, 즉각적인 AI 공동 창작을 보여주었다.
• 기술적 과제로는 모델 추론의 지연, 프롬프트 개선을 위한 피드백 루프, 애니메이션 자동화, 신뢰할 수 있는 3차원 모델 레포지토리의 선택 등이 있다.
• 논문은 AI 생성 VR 경험에 대한 객관적 평가 지표의 근본적인 부족함을 지적하였으며, 특히 콘텐츠와 규칙이 변할 수 있고 개방적인 경우에 특히 그렇다.
• 저자는 평가가 정량적 사용자 피드백이나 플레이 세션 창의성에 대한 LLM 기반 점수에 의존할 수 있음을 제안하지만, 표준화된 벤치마크는 현재 존재하지 않는다.
• 향후 시스템은 텍스트-코드(Codex)와 텍스트-3D(DreamFusion 등) 모델을 결합하여 VR 세계 구축에서 완전한 생성 유연성을 달성해야 한다는 점을 시사한다.