[論文レビュー] Towards Modeling Software Quality of Virtual Reality Applications from Users' Perspectives

Shuqing Li, Lili Wei+4 more|arXiv (Cornell University)|Aug 13, 2023

Virtual Reality Applications and ImpactsComputer Science被引用数 3

ひとこと要約

本研究は、7つのプラットフォームにおける14,150のVRアプリケーションから1,132,056件のユーザーレビューを収集する半自動的手法を用いて、ユーザーの視点からの仮想現実（VR）ソフトウェア品質に関する初の大規模な実証的分析を提示する。12の主要な品質属性を同定し、移動メカニズム、操作設計、没入感といったVR固有の要因がユーザーの関心において最も高い位置を占めることを明らかにした。また、パフォーマンスの非効率性や不良なインタラクション設計が、ユーザーの快適性と体験を著しく低下させることを示した。

ABSTRACT

Virtual Reality (VR) technology has become increasingly popular in recent years as a key enabler of the Metaverse. VR applications have unique characteristics, including the revolutionized human-computer interaction mechanisms, that distinguish them from traditional software. Hence, user expectations for the software quality of VR applications diverge from those for traditional software. Investigating these quality expectations is crucial for the effective development and maintenance of VR applications, which remains an under-explored area in prior research. To bridge the gap, we conduct the first large-scale empirical study to model the software quality of VR applications from users' perspectives. To this end, we analyze 1,132,056 user reviews of 14,150 VR applications across seven app stores through a semiautomatic review mining approach. We construct a taxonomy of 12 software quality attributes that are of major concern to VR users. Our analysis reveals that the VR-specific quality attributes are of utmost importance to users, which are closely related to the most unique properties of VR applications like revolutionized interaction mechanisms and immersive experiences. Our examination of relevant user complaints reveals the major factors impacting user satisfaction with VR-specific quality attributes. We identify that poor design or implementation of the movement mechanisms, control mechanisms, multimedia systems, and physics, can significantly degrade the user experience. Moreover, we discuss the implications of VR quality assurance for both developers and researchers to shed light on future work. For instance, we suggest developers implement sufficient accessibility and comfort options for users with mobility limitations, sensory impairments, and other specific needs to customize the interaction mechanisms. Our datasets and results will be released to facilitate follow-up studies.

研究の動機と目的

• VRアプリケーションが有する特異な没入的・インタラクティブな性質を踏まえ、VRユーザーが最も重視するソフトウェア品質属性を理解すること。
• 特に快適性と安全性の側面において、ユーザー体験に悪影響を及ぼす主な技術的および設計的要因を同定すること。
• 開発者や研究者によるユーザー中心の設計およびテスト手法を通じたVR品質保証の向上に向けた実行可能なイン사이트を提供すること。
• 実際のユーザーフィードバックに基づく、包括的で実証的根拠に基づいたVRソフトウェア品質属性の分類体系を構築すること。

提案手法

• システム的な検索戦略（タグ、キーワード、サードパーティライブラリ）を用いて、7つのアプリストアから14,150のVRアプリケーションの合計1,132,056件のユーザーレビューを収集した。
• 自然言語処理（NLP）技術と手動による定性的コーディングを組み合わせた半自動のレビュー抽出パイプラインを適用し、細分化された品質要因を抽出した。
• 5名の評価者が複数ラウンドにわたってオープンコーディングとフォーカスドコーディングを実施し、分類体系を構築した。これにより、相互検証と信頼性の確保がなされた。
• 特にパフォーマンス、インタラクションメカニズム、感覚認識に注目し、ユーザーの苦情と称賛の分析を通じて影響要因を同定した。
• 3名の経験豊富なアナリストが4ラウンドにわたり段階的な合意形成に基づくラベル付けを繰り返し、手動アノテーションの正確性を高め、主観性を低減した。
• 再現可能性および今後のVR品質保証分野の研究を支援するため、データセットおよび手動分析資料を公開した。

実験結果

リサーチクエスチョン

• RQ1 VRユーザーが最も重視する12の顕著なソフトウェア品質属性は何か？
• RQ2 ユーザーがVR固有の品質属性に満足できない要因として、最も顕著に影響を与える技術的および設計的要因は何か？
• RQ3 パフォーマンスの非効率性やインタラクション設計の欠陥は、VRアプリケーションにおけるユーザーの快適性と運動障害（モーショントラブル）にどのように影響を与えるか？
• RQ4 快適性と安全性に関するユーザーの苦情と称賛の主な違いは何か？また、それらの問題を緩和する設計パターンは何か？

主な発見

• 移動メカニズム、操作設計、マルチメディアシステム、物理学といったVR固有の品質属性が、ユーザーの関心において最も高く、ユーザー体験にとって最も重要であることが判明した。
• フレームレートの低下や高遅延といったパフォーマンスの非効率性は、運動障害と没入感の低下と強く関連しており、ユーザーは低フレームレートが重度の不快感を引き起こすと明確に報告している。
• 現実の動きの追跡と仮想空間での移動メカニズムの適切でない実装が、身体的不快感と usability の低下の主な要因である。
• ユーザーは、回転速度や移動強度を調整可能なカスタマイズ可能な快適性設定を高く評価しており、これがユーザー耐性と満足度を著しく向上させると判明した。
• 適切に実装された境界警告（例：視覚的グリッドや障害物アラート）は頻繁に称賛されており、衝突リスクの低減と安全意識の向上に寄与することが示された。
• 機能的適合性、マルチセンサリー認識、パフォーマンス効率といった品質属性は、神経的・身体的快適性に連鎖的な影響を及ぼし、VR品質保証におけるそれらの相互関係を強調している。