[논문 리뷰] Towards Modeling Software Quality of Virtual Reality Applications from Users' Perspectives

Shuqing Li, Lili Wei외 4명|arXiv (Cornell University)|2023. 08. 13.

Virtual Reality Applications and ImpactsComputer Science인용 수 3

한 줄 요약

이 연구는 가상현실(VR) 소프트웨어 품질에 대한 사용자 시각에서의 첫 번째 대규모 실증 분석을 제시하며, 7개 플랫폼의 14,150개 VR 앱에서 1,132,056건의 사용자 리뷰를 자동화된 방법으로 채굴한 반자동 접근 방식을 사용한다. 12개의 핵심 품질 특성들을 규명하였으며, 이 중 이동 메커니즘, 조작 설계, 몰입감과 같은 VR 전용 요소들이 사용자 관심도가 가장 높으며, 성능 비효율성과 열악한 상호작용 설계가 사용자 편안함과 경험을 심각하게 악화시킨다는 점을 드러냈다.

ABSTRACT

Virtual Reality (VR) technology has become increasingly popular in recent years as a key enabler of the Metaverse. VR applications have unique characteristics, including the revolutionized human-computer interaction mechanisms, that distinguish them from traditional software. Hence, user expectations for the software quality of VR applications diverge from those for traditional software. Investigating these quality expectations is crucial for the effective development and maintenance of VR applications, which remains an under-explored area in prior research. To bridge the gap, we conduct the first large-scale empirical study to model the software quality of VR applications from users' perspectives. To this end, we analyze 1,132,056 user reviews of 14,150 VR applications across seven app stores through a semiautomatic review mining approach. We construct a taxonomy of 12 software quality attributes that are of major concern to VR users. Our analysis reveals that the VR-specific quality attributes are of utmost importance to users, which are closely related to the most unique properties of VR applications like revolutionized interaction mechanisms and immersive experiences. Our examination of relevant user complaints reveals the major factors impacting user satisfaction with VR-specific quality attributes. We identify that poor design or implementation of the movement mechanisms, control mechanisms, multimedia systems, and physics, can significantly degrade the user experience. Moreover, we discuss the implications of VR quality assurance for both developers and researchers to shed light on future work. For instance, we suggest developers implement sufficient accessibility and comfort options for users with mobility limitations, sensory impairments, and other specific needs to customize the interaction mechanisms. Our datasets and results will be released to facilitate follow-up studies.

연구 동기 및 목표

• VR 애플리케이션의 고유한 몰입형 및 상호작용적 특성 고려 시, 사용자들이 우선시하는 주요 소프트웨어 품질 특성들을 이해하기 위해.
• 특히 편안함과 안전성 측면에서 사용자 경험에 악영향을 주는 핵심 기술적 및 설계 요인들을 특정하기 위해.
• 개발자 및 연구자들이 사용자 중심의 설계 및 테스트 관행을 통해 VR 품질 보증을 향상시킬 수 있도록 실질적인 통찰을 제공하기 위해.
• 실제 사용자 피드백을 바탕으로 한 경험적 근거에 기반한 종합적인 VR 소프트웨어 품질 특성의 분류 체계를 수립하기 위해.

제안 방법

• 시스템적 검색 전략(태그, 키워드, 제3자 라이브러리 사용)을 통해 7개 앱 스토어에서 14,150개의 VR 애플리케이션에서 1,132,056건의 사용자 리뷰를 수집하였다.
• 자연어 처리(NLP) 기법과 수동 질적 코드화를 융합한 반자동 리뷰 채굴 파이프라인을 적용하여 세분화된 품질 측면을 추출하였다.
• 5명의 평가자가 다중 라운드 개방형 코드화와 집중 코드화를 통해 수행한 분류 체계를 통해 12개의 소프트웨어 품질 특성의 분류 체계를 수립하였으며, 교차 검증 및 신뢰도를 확보하였다.
• 사용자 불만과 찬사를 분석하여 영향을 미치는 요인을 규명하였으며, 특히 성능, 상호작용 메커니즘, 감각 인지 측면에 중점을 두었다.
• 세 명의 경험이 풍부한 분석가가 네 라운드에 걸쳐 반복적 공감 기반 레이블링을 수행하여 수동 주석의 정확도를 높이고 주관성을 최소화하였다.
• 재현 가능성을 보장하고 향후 VR 품질 보증 연구를 지원하기 위해 데이터셋과 수동 분석 자료를 공개하였다.

실험 결과

연구 질문

• RQ1 VR 사용자가 가장 중요하게 여기는 12개의 주요 소프트웨어 품질 특성은 무엇인가요?
• RQ2 사용자 만족도에 가장 크게 영향을 주는 기술적 및 설계 요인은 무엇이며, 특히 VR 전용 품질 특성과의 관계는 어떻게 되나요?
• RQ3 성능 비효율성과 상호작용 설계 결함은 VR 애플리케이션에서 사용자 편안함과 메트로니아(메스터리아)에 어떤 영향을 미치나요?
• RQ4 편안함과 안전성과 관련된 사용자 불만과 찬사의 주요 차이점은 무엇이며, 이러한 문제를 완화하는 설계 패턴은 무엇인가요?

주요 결과

• 이동 메커니즘, 조작 설계, 멀티미디어 시스템, 물리 시뮬레이션과 같은 VR 전용 품질 특성이 사용자 관심도가 가장 높고, 사용자 경험에 가장 중요한 영향을 미친다.
• 프레임 드롭 및 높은 지연 시간 등 성능 비효율성은 메트로니아와 몰입감 저하와 강하게 연관되어 있으며, 사용자들은 낮은 프레임 레이트가 심한 불편감을 유발한다고 명시적으로 보고하였다.
• 실생활 운동 추적 및 가상 이동 메커니즘의 부적절한 구현은 신체적 불편감과 사용성 저하의 주요 원인이다.
• 사용자들은 조절 가능한 편안함 설정(예: 회전 속도 및 이동 강도 조절 가능)을 매우 높이 평가하며, 이는 사용자 내성 능력과 만족도를 크게 향상시킨다.
• 적절히 구현된 경계 경고(예: 시각적 격자 및 장애물 경고)는 자주 칭찬받으며, 충돌 위험 감소와 안전성 인식 향상에 기여한다.
• 기능 적합성, 다감각 인지, 성능 효율성과 같은 품질 특성들은 신경적 편안함과 신체적 편안함에 파급 효과를 미치며, VR 품질 보증에서 이들의 상호연결성을 강조한다.