[논문 리뷰] Back to the Future: Revisiting Mouse and Keyboard Interaction for HMD-based Immersive Analytics

Jens Grubert, Eyal Ofek외 2명|arXiv (Cornell University)|2020. 01. 01.

Virtual Reality Applications and Impacts참고 문헌 23인용 수 5

한 줄 요약

이 논문은 HMD 기반의 몰입형 분석 환경에 물리적 키보드와 마우스를 통합하여 데스크톱 입력의 정밀성과 낮은 피로도를 중공간 제스처의 공간적 표현력과 조합하고자 한다. 손과 주변 기기의 공간 추적 기술을 활용함으로써, 한 손으로 공간 선택을 하고 다른 손으로 키보드 확정을 수행하는 등 원활한 다중 모odal 상호작용이 가능해지며, 이는 데이터 분석 작업의 정확성과 효율성을 향상시킨다.

ABSTRACT

With the rise of natural user interfaces, immersive analytics applications often focus on novel forms of interaction modalities such as mid-air gestures, gaze or tangible interaction utilizing input devices such as depth-sensors, touch screens and eye-trackers. At the same time, traditional input devices such as the physical keyboard and mouse are used to a lesser extent. We argue, that for certain work scenarios, such as conducting analytic tasks at stationary desktop settings, it can be valuable to combine the benefits of novel and established input devices as well as input modalities to create productive immersive analytics environments.

연구 동기 및 목표

• 순수한 공간적 상호작용의 한계, 예를 들어 사용자 피로도와 입력 정확도 부족 문제를 해결한다.
• 정적 단일 사용자 분석 작업을 위해 전통적인 데스크톱 입력 장치(키보드와 마우스)를 몰입형 HMD와 융합할 잠재력을 탐색한다.
• 물리적 입력 장치의 공간 추적 기술을 통해 중공간 제스처와 정밀한 2차원 입력 간의 원활한 전환 방식을 조사한다.
• 가상의 UI 요소(예: 슬라이더, 노드 선택기 등)를 물리적 키와 마우스 표면에 매핑하여 상호작용의 정밀도를 향상시킨다.
• 공간적 표현력과 상징적 정밀도의 장점을 모두 활용하는 하이브리드 상호작용 모델을 촉진한다.

제안 방법

• 현대 HMD의 카메라 기반 인사이드아웃 추적 기술을 활용해 사용자의 손, 키보드, 마우스를 실시간으로 공간적으로 추적한다.
• 컨트롤러 기반 레이 캐스팅 등의 중공간 제스처와 마우스 클릭, 키보드 입력 간의 원활한 전환을 가능하게 한다.
• 가상의 데이터 엔티티(예: 노드-링크 다이어그램의 노드 등)를 물리적 키에 1:1 또는 다중 키 선택 방식으로 매핑한다.
• 키나 마우스 영역에 가상의 UI 요소(예: 스크린 슬라이더, 색상 선택기 등)를 추가하여 물리적 입력 장치를 보강한다.
• 마우스의 3차원 공간 내 움직임을 추적하여 제약 있는 3차원 조작(예: 회전, 스케일링 등)을 지원한다.
• 한 손으로 불확실한 공간 선택(예: 시선 또는 제스처)을 수행하고, 다른 손으로 키보드나 마우스를 통해 동작를 확인하는 상호작용 패턴을 설계한다.

실험 결과

연구 질문

• RQ1 물리적 키보드와 마우스는 HMD 기반 몰입형 분석 환경에 어떻게 효과적으로 통합될 수 있는가?
• RQ2 공간적 상호작용과 정밀하고 피로도가 낮은 데스크톱 입력을 융합함으로써 데이터 분석 작업에 어떤 이점이 있는가?
• RQ3 물리적 입력 장치의 공간 추적 기술을 통해 중공간 입력과 직접 입력 모달 간의 원활한 전환이 어떻게 가능해지는가?
• RQ4 가상의 UI 요소를 물리적 키보드와 마우스에 어떻게 보강하여 상호작용의 정밀도를 향상시킬 수 있는가?
• RQ5 공간 제스처와 키보드 및 마우스의 상징적 입력을 융합했을 때 나타나는 다중 모달 상호작용 패턴은 무엇인가?

주요 결과

• 물리적 키보드와 마우스는 몰입형 분석에서 중공간 제스처의 표현력은 뛰어나지만 피로도가 높은 성향을 보완하는 정밀하고 피로도가 낮은 입력 수단을 제공한다.
• 물리적 입력 장치의 공간 추적 기술을 통해 모달 간 전환이 원활해지며, 인지 부담과 상호작용의 마찰을 줄인다.
• 가상의 UI 요소(예: 슬라이더, 색상 선택기 등)를 물리적 키나 마우스 표면에 매핑함으로써 입력의 확실성과 오류율 감소가 가능해진다.
• 한 손으로 공간 선택을, 다른 손으로 확인을 수행하는 다중 모달 상호작용 패턴은 작업 효율성을 향상시키고 사용자 피로도를 감소시킨다.
• 물리적 주변기기와 가상의 데이터 표현을 융합함으로써 애플리케이션별 맞춤형 적용이 가능해져 몰입형 분석의 유연성과 사용성을 향상시킨다.
• 정적 터치스크린(예: 노트북 디스플레이 등)의 통합은 향후 몰입형 분석 워크플로우의 유망한 확장 방향이다.