[論文レビュー] To VR or not to VR: Is virtual reality suitable to understand software development metrics?

David Moreno-Lumbreras, Gregório Robles+2 more|arXiv (Cornell University)|Sep 28, 2021

Software Engineering Research参考文献 16被引用数 4

ひとこと要約

本研究では、同一のデータとタスクを用いて、2次元スクリーンベースの可視化とVRベースの可視化——特にプルリクエスト活動——を比較する制御実験を実施した。結果として、VRと2Dの間で正確性に有意差は認められなかったが、VRユーザーはタスク完了に著しく長い時間を要した。これは、VRがこの種のソフトウェアメトリクス理解においてまだより効率的ではないことを示唆している。

ABSTRACT

Background/Context: Currently, the usual interface for visualizing data is based on 2-D screens. Recently, devices capable of visualizing data while immersed in VR scenes are becoming common. However, it has not been studied in detail to which extent these devices are suitable for interacting with data visualizations in the specific case of data about software development. Objective/Aim: In this registered report, we propose to answer the following question: "Is comprehension of software development processes, via the visualization of their metrics, better when presented in VR scenes than in 2D screens?" In particular, we will study if answers obtained after interacting with visualizations presented as VR scenes are more or less correct than those obtained from traditional screens, and if it takes more or less time to produce those answers. Method: We will run an experiment with volunteer subjects from several backgrounds. We will have two setups: an on-screen application, and a VR scene. Both will be designed to be as much equivalent as possible in terms of the information they provide. For the former, we use a commercial-grade set of \kibana-based interactive dashboards that stakeholders currently use to get insights. For the latter, we use a set of visualizations similar to those in the on-screen case, prepared to provide the same set of data using the museum metaphor in a VR room. The field of analysis will be related to modern code review, in particular pull request activity. The subjects will try to answer some questions in both setups (some will work first in VR, some on-screen), which will be presented to them in random order. To draw results, we will compare and statistically analyze both the correctness of their answers, and the time spent until they are produced.

研究の動機と目的

• 仮想現実（VR）が従来の2次元スクリーンベースのダッシュボードと比較して、ソフトウェア開発メトリクスの理解を改善するかどうかを評価すること。
• VRがソフトウェアプロセスに関する高レベルな理解タスクを回答する際に、同等またはより高い正確性と効率性を提供するかどうかを評価すること。
• 特にコードレビューとプルリクエスト分析の文脈において、ソフトウェア開発データを可視化するためのVRの実用性と使いやすさを調査すること。
• VRハードウェアの普及が進む中で、WebXR や WebGL といった標準仕様も整いつつあることを踏まえ、VRがソフトウェア工学分析に与える有効性に関する実証的証拠を提供すること。
• 将来のVRベースのソフトウェア分析研究開発を支援するため、インマージブルデータ可視化のための利点、課題、および設計上の考慮事項を同定すること。

提案手法

• 同一のデータと視覚的比喩（例：美術館の部屋、3次元チャート）を用いて、Kibanaベースのダッシュボードを用いた2次元スクリーン上の可視化環境と、BabiaXRツールキットを用いたVRシーン上の可視化環境を2つ設計する。
• 順序バイアスを低減するため、両方の環境でランダムに順序を入れ替えた同一の理解タスク（質問形式）を提示する。
• 幅広い代表性を確保するため、ソフトウェア開発経験が異なる学術的・職業的背景の参加者を募集する。
• 主な2つの結果指標として、回答の正答性（正確性）と回答に要した時間（効率性）を測定し、入力の標準化と測定バイアス低減のため音声入力を使用する。
• 提示順序と参加者の経験レベルを制御した統計的分析を実施し、VRと2Dの両条件でのパフォーマンスを比較する。
• VR操作の習得を促進するため、トレーニング資料と実践的なチュートリアルを提供する。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア開発メトリクスに関する理解タスクの正確性は、VRで提示された可視化の方が2Dスクリーンで提示されたものよりも高いか？
• RQ2 2D可視化と比較して、VRはソフトウェア開発メトリクスに関する理解質問に回答するのに要する時間を短くするか、延長するか？
• RQ3 特定のタスクタイプ（例：正確性中心 vs. 空間的局在性中心）において、VRまたは2Dがより優れているか？
• RQ4 過去の経験や職業的背景は、VRと2Dの可視化モード間のパフォーマンス差にどの程度影響を及ぼすか？
• RQ5 VRハードウェアのトレーニングや慣れは、ソフトウェアメトリクス理解タスクにおけるVRユーザーと2Dユーザーのパフォーマンス格差にどの程度影響を及えるか？

主な発見

• VRと2Dの可視化モード間で回答の正答性に統計的に有意な差は認められず、VRは従来の2Dダッシュボードと同等、あるいはそれ以上の正確性を示していることが示された。
• 参加者はVRで同じ理解タスクを完了するのに2Dと比較して著しく長い時間を要した。これは、VRがタスク完了時間の観点から現在のところより非効率であることを示唆している。
• 高精度を要するタスクは2Dでも顕著に簡単ではなく、空間的局在性を要するタスクもVRで明確な優位性を示さなかった。これは、両者ともこれらの次元で一貫して優れているとは限らないことを示している。
• 実践的なVRチュートリアルの導入により、VRユーザーと2Dユーザーのパフォーマンス格差が縮小した。これは、トレーニングがVRの初期の使いやすさの不利要因を緩和できることを示している。
• 結果として、VRはこの種のソフトウェアメトリクスタスクにおいてまだより効果的または効率的ではないものの、正確性は同等の代替手段として有効であることが示された。
• 本研究は再現可能な実験設定とオープンソースのソフトウェアスタックを提供しており、今後のVRベースのソフトウェア工学分析分野の研究を支援する基盤を提供している。