[논문 리뷰] Text Entry in Immersive Head-Mounted Display-based Virtual Reality using Standard Keyboards

Jens Grubert, Lukas Witzani외 4명|arXiv (Cornell University)|2018. 02. 02.

Interactive and Immersive Displays인용 수 4

한 줄 요약

이 연구는 실시간 손과 키보드 추적을 사용하여 몰입형 VR 환경에서 桌상 키보드와 터치스크린 키보드의 텍스트 입력 성능을 평가한다. 연구 결과, 사용자는 VR에서 키보드 입력 속도의 약 60%를 유지하며, 터치스크린 키보드의 경우 40–45%를 유지하는 것으로 나타났으며, 학습 효과는 유의미하지 않았다. 키보드 재배치는 특히 터치스크린 키보드에서 시각적 피드백을 향상시키고 인지 부담을 감소시켜 성능 향상에 기여한다.

ABSTRACT

We study the performance and user experience of two popular mainstream text entry devices, desktop keyboards and touchscreen keyboards, for use in Virtual Reality (VR) applications. We discuss the limitations arising from limited visual feedback, and examine the efficiency of different strategies of use. We analyze a total of 24 hours of typing data in VR from 24 participants and find that novice users are able to retain about 60% of their typing speed on a desktop keyboard and about 40-45\\% of their typing speed on a touchscreen keyboard. We also find no significant learning effects, indicating that users can transfer their typing skills fast into VR. Besides investigating baseline performances, we study the position in which keyboards and hands are rendered in space. We find that this does not adversely affect performance for desktop keyboard typing and results in a performance trade-off for touchscreen keyboard typing.

연구 동기 및 목표

• 몰입형 VR 환경에서 표준 데스크톱 키보드와 터치스크린 키보드의 성능과 사용자 경험을 평가하기 위해.
• 시각적 피드백과 키보드 재배치가 VR에서 타이핑 효율성과 사용자 편안함에 미치는 영향을 조사하기 위해.
• 사용자가 기존 타이핑 기술을 VR로 이관할 수 있는지, 뚜렷한 학습 곡선 없이 가능한지 판단하기 위해.
• 손과 키보드 위치가 타이핑 성능와 인식된 몰입감에 미치는 영향을 탐색하기 위해.
• 장시간 생산성 작업을 위한 표준 물리적 키보드가 VR에서 견고한 텍스트 입력 도구로 사용 가능한지 타당성 평가하기 위해.

제안 방법

• 24명의 참가자가 VR 환경에서 광범위한 텍스트 입력 작업을 수행하는 통제된 사용자 연구를 실시하였다.
• 손과 손가락 움직임을 실시간으로 캡처하기 위해 고정밀 광학 추적 시스템을 사용하였다.
• VR 환경에 데스크톱 및 터치스크린 키보드의 가상 표현을 구현하였으며, 사용자 시야 중심으로 재배치 여부에 따라 조건을 설정하였다.
• 시각적 피드백 향상과 인지 부담 감소를 위해 가상 공간에 손끝을 표시하였다.
• 타이핑 속도(분당 단어 수), 문자 오류율, 사용자 보고 편안함과 몰입감을 측정하였다.
• 오류율을 감소시키고 성능 인식을 향상시키기 위해 VelociTap 디코더를 통한 자동 보정을 적용하였다.

실험 결과

연구 질문

• RQ1 몰입형 VR에서 표준 데스크톱 키보드와 터치스크린 키보드의 텍스트 입력 성능는 어떻게 비교되는가?
• RQ2 사용자 중심 시야에 향한 가상 키보드와 손 표현의 재배치가 타이핑 성능에 어떤 영향을 미치는가?
• RQ3 사용자가 기존 타이핑 기술을 뚜렷한 학습 효과 없이 VR로 이관할 수 있는 정도는 어느 정도인가?
• RQ4 렌더링된 손가락 움직임으로부터의 시각적 피드백이 타이핑 정확도와 인식된 사용성에 어떤 영향을 미치는가?
• RQ5 VR에서 다양한 키보드 유형과 배치를 사용할 때 성능, 편안함, 몰입감 간의 상충 관계는 어떠한가?

주요 결과

• 초보자 사용자는 VR에서 데스크톱 키보드 타이핑 속도의 약 60%를 유지하여 타이핑 기술의 강한 이관 가능성을 시사한다.
• 사용자는 터치스크린 키보드 타이핑 속도의 40–45%를 유지하였으며, 시간이 지남에 따라 뚜렷한 학습 효과는 없었다.
• 사용자 중심 시야에 키보드와 손을 재배치함으로써 터치스크린 키보드의 성능 향상이 뚜렷하게 향상되었지만, 데스크톱 키보드 성능에는 미미한 영향을 미쳤다.
• 실시간 손끝 렌더링의 사용은 특히 터치스크린 입력에서 시각적 피드백을 향상시키고 성능 저하를 감소시켰다.
• 자동 보정을 통해 문자 오류율은 2.6–4.0%로 감소하여 디코딩 알고리즘이 입력 오류를 완화하는 데 효과적임을 입증하였다.
• 사용자들은 키보드와 손을 사용자에게 향하게 재배치했을 때 더 높은 편안함과 인식된 몰입감을 보고하여 신체적 통합감 향상과 인지 부담 감소를 시사한다.