[論文レビュー] Investigating the Design Considerations for Integrating Text-to-Image Generative AI within Augmented Reality Environments

Yongquan Hu, Zhang, Dawen+8 more|arXiv (Cornell University)|Mar 29, 2023

Augmented Reality Applications被引用数 4

ひとこと要約

本論文は、テキストから画像を生成する生成的AIと拡張現実（AR）ディスプレイを統合するための設計フレームワークを提案し、音声入力を用いてAIが生成した画像とテキストを3つのARモダリティ—空間的、ヘッドマウント型、ハンドヘルド型—に投影するプロトタイプ「GenerativeAIR」を実装している。主な貢献は、フォーカスグループからの知見を基に導き出された、AIGC+ARシステムにおけるプライバシー、相互作用性、マルチユーザー協働の設計上の考慮事項を特定する『ユーザー・機能・環境』設計思考モデルである。

ABSTRACT

Generative Artificial Intelligence (GenAI) has emerged as a fundamental component of intelligent interactive systems, enabling the automatic generation of multimodal media content. The continuous enhancement in the quality of Artificial Intelligence-Generated Content (AIGC), including but not limited to images and text, is forging new paradigms for its application, particularly within the domain of Augmented Reality (AR). Nevertheless, the application of GenAI within the AR design process remains opaque. This paper aims to articulate a design space encapsulating a series of criteria and a prototypical process to aid practitioners in assessing the aptness of adopting pertinent technologies. The proposed model has been formulated based on a synthesis of design insights garnered from ten experts, obtained through focus group interviews. Leveraging these initial insights, we delineate potential applications of GenAI in AR.

研究の動機と目的

• テキストから画像を生成する生成的AIとARディスプレイを統合するための設計的余地を探索すること。
• 現実世界の応用においてAI生成コンテンツ（AIGC）とARを統合するにあたり、包括的な設計指針が不足しているという問題に対処すること。
• AIGC+ARシステム設計に影響を与えるユーザーのニーズ、機能的要件、環境要因を特定すること。
• 3つのARディスプレイタイプで音声駆動型のマルチモーダルなAIGC出力を可能にするプロトタイプを開発すること。
• 実地のフォーカスグループ調査を通じて、『ユーザー・機能・環境』設計フレームワークを導出すること。

提案手法

• Googleの音声認識APIとStable Diffusion、音声合成モデルを統合したプロトタイプ「GenerativeAIR」を構築し、音声駆動型コンテンツ生成を実現した。
• 3つのARディスプレイタイプにシステムを展開した：Samsung Freestyleプロジェクタ（空間的AR）、HoloLens 2（ヘッドマウントディスプレイ）、OnePlus 10 Pro（ハンドヘルドディスプレイ）。
• プロトタイプを異なるシナリオで操作する参加者を対象にフォーカスグループを通じてユーザーのフィードバックを収集した。
• 定性的分析を適用し、特にプライバシー、相互作用性、マルチユーザー連携に関するユーザーのニーズの繰り返しテーマを同定した。
• AIGC+ARシステムの設計上の考慮事項を体系化するための『ユーザー・機能・環境』設計思考モデルを開発した。
• 屋内／屋外の異なる環境およびプレゼンテーション役／観察役の異なるユーザー役割におけるシステム性能とユーザーエクスペリエンスを評価した。

Figure 1. The workflow and display effect of our GenerativeAIR prototype: (a) The user’s speech into the microphone is converted into text, which is then fed into an AI model for generating artistic images and more text; (b) Generated content in Spatial Augmented Reality (SAR): an example of Samsung

実験結果

リサーチクエスチョン

• RQ1 テキストから画像を生成する生成的AIを、空間的、HMD、ハンドヘルド型といった多様なARディスプレイモダリティに効果的に統合する方法は何か？ これにより、リアルタイムで相互作用的なコンテンツ作成が可能となるか？
• RQ2 ARにAI生成コンテンツを展開するにあたり、特にユーザーの役割、プライバシー、環境的文脈といった設計要因は、どのような点を考慮すべきか？
• RQ3 AI生成コンテンツとARディスプレイの相互作用が、没入感、使いやすさ、社会的相互作用の観点でユーザーにどのように認識されるか？
• RQ4 生成的AIを用いたAR体験において、単一ユーザーとマルチユーザーの体験には、機能的および体験的側面でどのような相違が生じるか？
• RQ5 AIGC+ARシステムにおいて、プライバシーと協働性のバランスを取るために、階層的アクセスとコンテンツ共有をどのように実装できるか？

主な発見

• ユーザーは、写真やライフログなど個人データを含むAI生成コンテンツに関して、プライバシーと文脈的認識を最優先に挙げている。
• ハンドヘルドディスプレイ（例：スマートフォン）は、持ち運びやすさとアクセスのしやすさから、リアルタイムでのクリエイティブメディア生成の可能性が最も広がる。
• 空間的ARディスプレイは、公共的で共有可能な体験を強化するが、コンテンツが公開的に表示されるためプライバシー懸念が生じる。
• プレゼンテーションを行うユーザー（例：HMDユーザー）はコントロールとプライバシーを重視するが、観察ユーザーは没入感と認知的負荷の低さを重視する。
• 『ユーザー・機能・環境』設計モデルは、特に役割ベースのアクセスと環境への適応に関する設計上のトレードオフを的確に捉えている。
• 現在のプロトタイプは2D画像生成とオフライン動作に限定されており、今後の研究ではリアルタイムの3Dコンテンツ生成とオンライン連携の実装が求められる。

Figure 2. The comparisons of AR display+generative AI and their related techniques: (a) display performance comparison of AR, VR and normal monitor; (b) content-generation performance comparison of generative AI (machine), AI assist (machine+human) and human.