[논문 리뷰] To VR or not to VR: Is virtual reality suitable to understand software development metrics?

David Moreno-Lumbreras, Gregório Robles외 2명|arXiv (Cornell University)|2021. 09. 28.

Software Engineering Research참고 문헌 16인용 수 4

한 줄 요약

이 연구는 동일한 데이터와 작업을 사용하여 소프트웨어 개발 메트릭스—특히 풀 리퀘스트 활동—의 2D 스크린 기반 및 VR 기반 시각화를 제어 실험을 통해 비교한다. 결과는 VR과 2D 간 정확도에 유의미한 차이가 없음을 보여주지만, VR 사용자는 작업을 완료하는 데 훨씬 더 오랜 시간이 소요됨을 시사하여, 이와 같은 소프트웨어 메트릭스 이해에는 아직 VR이 더 효율적이지 않음을 시사한다.

ABSTRACT

Background/Context: Currently, the usual interface for visualizing data is based on 2-D screens. Recently, devices capable of visualizing data while immersed in VR scenes are becoming common. However, it has not been studied in detail to which extent these devices are suitable for interacting with data visualizations in the specific case of data about software development. Objective/Aim: In this registered report, we propose to answer the following question: "Is comprehension of software development processes, via the visualization of their metrics, better when presented in VR scenes than in 2D screens?" In particular, we will study if answers obtained after interacting with visualizations presented as VR scenes are more or less correct than those obtained from traditional screens, and if it takes more or less time to produce those answers. Method: We will run an experiment with volunteer subjects from several backgrounds. We will have two setups: an on-screen application, and a VR scene. Both will be designed to be as much equivalent as possible in terms of the information they provide. For the former, we use a commercial-grade set of \kibana-based interactive dashboards that stakeholders currently use to get insights. For the latter, we use a set of visualizations similar to those in the on-screen case, prepared to provide the same set of data using the museum metaphor in a VR room. The field of analysis will be related to modern code review, in particular pull request activity. The subjects will try to answer some questions in both setups (some will work first in VR, some on-screen), which will be presented to them in random order. To draw results, we will compare and statistically analyze both the correctness of their answers, and the time spent until they are produced.

연구 동기 및 목표

• 가상현실(VR)이 기존의 2D 스크린 기반 대시보드에 비해 소프트웨어 개발 메트릭스 이해에 도움이 되는지 평가하기.
• VR이 소프트웨어 프로세스에 대한 고수준 이해 작업을 해결하는 데 있어 정확도나 효율성 측면에서 동등하거나 더 우수한 성능을 제공하는지 평가하기.
• 특히 코드 리뷰 및 풀 리퀘스트 분석의 맥락에서 소프트웨어 개발 데이터를 시각화하는 데 있어 VR의 실용성과 사용성 탐색하기.
• 가상현실 하드웨어의 보급 증가와 WebXR 및 WebGL과 같은 표준의 확산 배경에서 소프트웨어 공학 분석에 있어 VR의 효과성에 대한 실증적 증거 제공하기.
• 향후 VR 기반 소프트웨어 분석 연구 및 개발을 지원하기 위해 몰입형 데이터 시각화의 장점, 과제, 디자인 고려사항을 규명하기.

제안 방법

• 동일한 데이터와 시각적 메타포(예: 박물관 객실, 3D 차트)를 사용하여 Kibana 기반 대시보드를 활용한 2D 스크린 환경과 BabiaXR 툴셋을 사용한 VR 환경을 각각 설계한다.
• 순서 편향을 최소화하기 위해 랜덤 순서로 제시된 동일한 이해 작업 세트(질문 형식)를 양 환경에서 사용한다.
• 다양한 배경(학계 및 전문가)과 소프트웨어 개발 경험을 가진 참가자를 모집하여 광범위한 대표성을 확보한다.
• 정확도(정답 여부)와 효율성(응답 시간)을 주요 측정 지표로 삼으며, 입력 표준화 및 측정 편향 감소를 위해 음성 기반 응답을 사용한다.
• 제시 순서와 참가자 경험 수준을 통제하여 VR 및 2D 조건 간 성능 비교를 위한 통계 분석을 수행한다.
• VR 상호작용을 위한 교육 자료와 실용적 튜토리얼을 포함하여 VR 사용자와 2D 사용자 간 학습 격차를 줄인다.

실험 결과

연구 질문

• RQ1 소프트웨어 개발 메트릭스에 대한 이해 작업에서 VR로 시각화를 제공할 경우 2D 스크린 대비 정확도가 높아지는가?
• RQ2 2D 시각화에 비해 VR은 소프트웨어 개발 메트릭스에 대한 이해 질문에 응답하는 데 소요되는 시간을 줄이는가, 증가시키는가?
• RQ3 특정 유형의 작업(예: 정밀도 중심 대비 공간적 국소성 중심)에서는 VR 또는 2D 중 어느 쪽이 더 우수한 성능을 보이는가?
• RQ4 이전 경험 또는 전문적 배경이 VR과 2D 시각화 방식 간 성능 차이에 얼마나 영향을 미치는가?
• RQ5 VR 하드웨어에 대한 교육과 익숙함은 소프트웨어 메트릭스 이해 작업에서 VR 사용자와 2D 사용자 간 성능 격차에 어떤 영향을 미치는가?

주요 결과

• VR과 2D 시각화 방식 간 정답 여부에 유의미한 통계적 차이가 없었으며, 이는 VR가 소프트웨어 메트릭스 이해에 있어 기존 2D 대시보드와 동등하거나 그 이상의 정확도를 제공함을 시사한다.
• 참가자들은 VR에서 동일한 이해 작업을 수행하는 데 2D 대비 유의미하게 더 오랜 시간이 소요되었으며, 이는 VR이 현재 작업 완료 시간 측면에서 더 효율적이지 않음을 시사한다.
• 정밀도가 요구되는 작업은 2D에서도 유의미하게 쉬워지지 않았고, 공간적 국소성에 의존하는 작업도 VR에서 명확한 우위를 보이지 않아, 양 방식이 이 두 차원에서 일관되게 뛰어나지 않음을 시사한다.
• 실용적인 VR 튜토리얼의 포함으로 인해 VR 사용자와 2D 사용자 간 성능 격차가 감소했으며, 이는 교육이 초기 사용성 열등성을 완화시킬 수 있음을 시사한다.
• 결과적으로 VR이 이와 같은 소프트웨어 메트릭스 작업에 있어서 아직 2D보다 더 효과적이거나 효율적이지는 않지만, 정확도가 동등한 타당한 대안임을 시사한다.
• 이 연구는 재현 가능한 실험 설정과 오픈소스 소프트웨어 스택을 제공하여 향후 VR 기반 소프트웨어 공학 분석 연구가 이 결과를 기반으로 발전시킬 수 있도록 한다.