[논문 리뷰] The AR/VR Technology Stack: A Central Repository of Software Development Libraries, Platforms, and Tools

Jasmine Roberts|arXiv (Cornell University)|2023. 01. 01.

Augmented Reality Applications인용 수 1

한 줄 요약

이 논문은 AR/VR 애플리케이션 개발을 위한 소프트웨어 개발 도구, 라이브러리, 플랫폼의 종합적이고 중심화된 저장소를 제시한다. 이는 카테고리와 생태계별로 정리되어 있으며, 저작도구인 Adobe Aero와 Reality Composer부터 웹 기반 프레임워크인 A-Frame와 BabylonJS, 엔진 수준의 플랫폼인 Unity와 Unreal Engine에 이르기까지 50개 이상의 핵심 기술을 목록화하여, 다양한 기기와 플랫폼에서 AR/VR 기술을 선택하고 통합하는 데 있어 개발자들이 한 곳에서 참고할 수 있도록 한다.

ABSTRACT

A comprehensive repository of software development libraries, platforms, and tools specifically to the domains of augmented, virtual, and mixed reality.

연구 동기 및 목표

• AR/VR 소프트웨어 개발 도구, 라이브러리, 플랫폼의 종합적이고 최신 정보를 담은 인vent리 제작 및 정리.
• 목표 플랫폼, 용도 사례, 또는 기술 스택에 따라 도구를 선택하는 데 도움이 되도록 개발자와 연구자들을 지원하기 위한 단일 기준 제공.
• 기능(예: 프로토타이핑, 웹 기반, 게임 엔진)에 따라 도구를 분류함으로써 AR/VR 개발 생태계의 가시성과 상호운용성을 향상.
• 소셜 미디어 및 모바일 AR를 위한 생태계 전용 도구(예: Lens Studio, Spark AR)를 포함한 주요 플랫폼(Unity, Unreal Engine 등)을 문서화.
• 오픈소스 및 전문 소프트웨어 도구를 모두 포함하여, 기능, 지원 플랫폼, 통합 능력에 대한 기술적 세부 정보 제공.

제안 방법

• AR/VR 개발 도구를 주제별 그룹(저작도구, 생태계 전용 플랫폼, 웹 기반 XR, 게임 엔진, 플랫폼 전용 SDK)으로 분류.
• 각 도구의 공식 출처, 핵심 기능, 지원 플랫폼(예: iOS, Android, 웹), 통합 능력을 문서화.
• 마커리스 트래킹(8th Wall), 실시간 얼굴 트래킹(Lens Studio), WebGL 기반 렲링(BabylonJS)과 같은 주요 기술적 기능을 강조.
• HTML, JavaScript, WebXR를 사용하여 웹 기반 AR/VR 개발이 가능한 오픈소스 프레임워크인 A-Frame, AR.js, JanusWeb의 중요성을 부각.
• Unity와 Unreal Engine을 포함한 게임 엔진 스택의 세부 사항 기재: 크로스플랫폼 배포 지원, VR/AR 헤드셋 호환성, 상용 애플리케이션에서의 활용.
• 실시간 네트워킹을 위한 플랫폼 전용 SDK(예: ARKit, ARCore, Vuforia, Lightship ARDK)와 미들웨어(예: Photon, NetCode) 포함.

실험 결과

연구 질문

• RQ1 다양한 기술 수준의 사용자들이 AR/VR 경험을 구현하는 데 가장 널리 사용되고 접근하기 쉬운 도구는 무엇인가?
• RQ2 A-Frame과 AR.js와 같은 웹 기반 AR/VR 프레임워크는 네이티브 앱 설치 없이도 어떻게 크로스플랫폼 배포를 가능하게 하는가?
• RQ3 Unity와 Unreal Engine과 같은 게임 엔진은 고해상도 AR/VR 애플리케이션 개발에서 어떤 역할을 하는가?
• RQ4 생태계 전용 플랫폼(Lens Studio, Spark AR, Effect House 등)은 소셜 미디어에서 AR 콘텐츠를 대규모로 배포하는 데 어떻게 기여하는가?
• RQ5 현대 AR/VR 스택에서 마커리스 AR, 얼굴 트래킹, 3D 오브제트 상호작용을 가능하게 하는 주요 기술 구성 요소와 SDK는 무엇인가?

주요 결과

• Adobe Aero와 Reality Composer는 드래그 앤 드롭 인터페이스를 통해 비기술자도 상호작용 가능한 AR 경험을 만들 수 있으며, Adobe 및 Apple 생태계와 원활하게 통합된다.
• TikTok의 Effect House와 Snap의 Lens Studio는 수백만 명의 활성 사용자가 있는 플랫폼에 직접 AR 에피소드를 게시할 수 있게 해 콘텐츠 배포 속도를 가속화한다.
• A-Frame과 AR.js와 같은 웹 기반 프레임워크는 표준 웹 기술(HTML, JavaScript)을 사용하여 앱 설치 없이도 모바일 브라우저에서 배포 가능한 AR/VR 경험을 개발할 수 있다.
• BabylonJS와 PrimroseVR는 공간 음향, 동작 추적, WebGL 렌더링 지원 기능을 갖춘 웹 브라우저에서 3D 상호작용 VR 경험을 만드는 데 강력한 오픈소스 도구를 제공한다.
• Unity와 Unreal Engine은 AR/VR 개발의 주요 게임 엔진으로 남아 있으며, Beat Saber, Pokémon Go, Half-Life: Alyx와 같은 주요 타이틀을 구동하며 광범위한 크로스플랫폼 지원을 제공한다.
• ARKit, ARCore, Vuforia, Lightship ARDK와 같은 플랫폼 전용 SDK는 실시간 오브제 및 얼굴 트래킹과 같은 고급 AR 기능을 가능하게 하며, Vuforia와 Lightship ARDK는 복잡한 마커리스 및 이미지 기반 트래킹을 지원한다.