[論文レビュー] The AR/VR Technology Stack: A Central Repository of Software Development Libraries, Platforms, and Tools

Jasmine Roberts|arXiv (Cornell University)|Jan 1, 2023

Augmented Reality Applications被引用数 1

ひとこと要約

本論文は、AR/VRアプリケーション開発のためのソフトウェア開発ツール、ライブラリ、プラットフォームの包括的で集中管理されたリポジトリを提示している。カテゴリーやエコシステムごとに整理されており、低コードツール（例：Adobe Aero や Reality Composer）からウェブベースのフレームワーク（例：A-Frame や BabylonJS）、エンジンレベルのプラットフォーム（例：Unity や Unreal Engine）に至るまで50以上の主要な技術を網羅的に記録しており、デバイスやプラットフォームを問わずAR/VR技術の選定と統合を支援するワンストップリファレンスを開発者に提供する。

ABSTRACT

A comprehensive repository of software development libraries, platforms, and tools specifically to the domains of augmented, virtual, and mixed reality.

研究の動機と目的

• AR/VRソフトウェア開発ツール、ライブラリ、プラットフォームの包括的かつ最新のインventoriesを収集・整理すること。
• 開発者や研究者がターゲットプラットフォーム、ユースケース、またはテクニカルスタックに基づいてツールを選定できるように、単一のリファレンスポイントを提供すること。
• 機能別（例：プロトタイピング、ウェブベース、ゲームエンジン）にツールを分類することで、AR/VR開発エコシステムの発見可能性と相互運用性を向上させること。
• ソーシャルメディアやモバイルAR向けのエコシステム固有ツール（例：Lens Studio、Spark AR）を含む主要プラットフォーム（例：Unity、Unreal Engine）を文書化すること。
• オープンソースとプロプライエタリツールの両方を含め、主な特徴、対応プラットフォーム、統合能力などの技術的詳細を記載すること。

提案手法

• AR/VR開発ツールをテーマ別グループ（低コードプロトタイピング、エコシステム固有プラットフォーム、ウェブベースXR、ゲームエンジン、プラットフォーム固有SDK）に分類すること。
• 各ツールについて、公式ソース、コア機能、対応プラットフォーム（例：iOS、Android、ウェブ）、統合能力を文書化すること。
• マーカーレストラッキング（8th Wall）、リアルタイム顔認識（Lens Studio）、WebGLベースレンダリング（BabylonJS）など、重要な技術的特徴を強調すること。
• HTML、JavaScript、WebXRを用いたウェブベースAR/VR開発を可能にするオープンソースフレームワーク（例：A-Frame、AR.js、JanusWeb）を強調すること。
• Unity や Unreal Engine などのゲームエンジンスタックについて、クロスプラットフォームデプロイ、VR/ARヘッドセットのサポート、商業アプリケーションでの利用状況を記載すること。
• リアルタイムネットワーキングを実現するためのプラットフォーム固有SDK（例：ARKit、ARCore、Vuforia、Lightship ARDK）およびミドルウェア（例：Photon、NetCode）を含めること。

実験結果

リサーチクエスチョン

• RQ1 どのような技術的スキルレベルのユーザーに対しても、広く使われておりアクセスしやすいAR/VR体験の作成に適したツールは何か？
• RQ2 A-Frame や AR.js といったウェブベースAR/VRフレームワークは、ネイティブアプリのインストールなしにどのようにクロスプラットフォーム展開を可能にしているか？
• RQ3 Unity や Unreal Engine といったゲームエンジンは、高精細なAR/VRアプリケーション開発において果たす役割は何か？
• RQ4 Lens Studio や Spark AR、Effect House といったエコシステム固有プラットフォームは、ソーシャルメディア上でARコンテンツを大規模に配布するためにどのように機能しているか？
• RQ5 現代のAR/VRスタックにおいて、マーカーレスAR、顔認識、3Dオブジェクトインタラクションを実現するための主要な技術的コンponentsおよびSDKは何か？

主な発見

• Adobe Aero と Reality Composer は、ドラッグアンドドロップインターフェースを介して非技術者でもインタラクティブなAR体験を簡単に作成でき、AdobeおよびAppleエコシステムへのシームレスな統合が可能である。
• TikTokのEffect House とSnapのLens Studio は、数百万ものアクティブユーザーを持つプラットフォームに直接ARエフェクトを発行できるため、コンテンツ配布の加速が図れる。
• ウェブベースフレームワーク（例：A-Frame、AR.js）は、標準的なウェブテクノロジー（HTML、JavaScript）を用いてAR/VR体験を構築可能であり、アプリインストールなしにモバイルブラウザで展開できる。
• BabylonJS と PrimroseVR は、空間オーディオ、モーショントラッキング、WebGLレンダリングをサポートするオープンソースのツールキットを提供し、ウェブブラウザ上で3DでインタラクティブなVR体験を構築可能である。
• Unity と Unreal Engine は、Beat Saber や Pokémon Go、Half-Life: Alyx といった主要タイトルを駆動するAR/VR開発の主要なゲームエンジンであり、広範なクロスプラットフォームサポートを有する。
• ARKit、ARCore、Vuforia、Lightship ARDK といったプラットフォーム固有SDKは、リアルタイムオブジェクトおよび顔認識トラッキングといった高度なAR機能を可能にし、Vuforia と Lightship ARDK は複雑なマーカーレスおよび画像ベーストラッキングもサポートする。