[논문 리뷰] Enhanced Touchable Projector-depth System with Deep Hand Pose Estimation

Zhi Chai, Roy Shilkrot|arXiv (Cornell University)|2018. 12. 28.

Tactile and Sensory Interactions참고 문헌 21인용 수 3

한 줄 요약

이 논문은 3D 손 자세 추정과 터치 감지를 통합하여 터치 가능한 프로젝션 인터페이스의 내성과 功能을 향상시키기 위해 딥러닝 기반 프로젝터-깊이 시스템을 제안한다. 상부 시각의 손 터치 데이터를 기반으로 훈련된 CNN을 통해 손가락별 터치 감지, 블롭 분해, 노이즈에 강건한 손끝 추정 기능을 실현하여 다중 터치 상호작용의 성능을 크게 향상시키며, 손가락 기반 타이핑 할당 방식을 갖춘 제스처 인식 가상 키보드와 같은 새로운 응용 분야를 가능하게 한다.

ABSTRACT

Touchable projection with structured light range cameras is a prolific medium for large interaction surfaces, affording multiple simultaneous users and simple, cheap setup. However robust touch detection in such projector-depth systems is difficult to achieve due to measurement noise. We propose a novel combination of surface touch detection and a deep network for hand pose estimation, which aids in detecting both on- and above-surface hand gestures, disambiguating multiple touch fingers, as well as recovering fingertip positions in face of noisy input. We present the details of our GPU-accelerated system and an evaluation of its performance, as well as applications such as an enhanced virtual keyboard that utilizes the added features.

연구 동기 및 목표

• 센서 노이즈와 겹치는 터치 블롭으로 인해 신뢰할 수 없는 터치 감지 문제가 발생하는 프로젝터-깊이 시스템의 과제를 해결하기 위해.
• 딥러닝 기반 손 자세 추정을 터치 감지 파이프라인에 통합하여 손가락별 세밀한 상호작용을 가능하게 하기 위해.
• 부착된 표면 내에서의 제스처와 표면 위 제스처를 모두 지원하는 시스템을 개발하여 가림과 측정 노이즈에 대한 내성을 향상시키기 위해.
• 손가락 할당 기반 가상 키보드와 다중 손가락 제스처 제어와 같은 새로운 상호작용 패러다임을 가능하게 하기 위해.

제안 방법

• 배경 모델링, 손 분할, 상부 시각의 깊이 이미지에서의 딥 컨volution 네트워크 기반 3D 손 자세 추정을 결합한 GPU 가속 처리 파이프라인.
• 표면 터치 시나리오에 특화된 20관절 손 자세 추정을 위한 커스터마이징된 트레이닝된 딥 컨volution 네트워크(CNN), 고도의 가림과 노이즈에 최적화된 설계.
• 자세 인식 기반 터치 감지 기술로, 추정된 손 뼈대를 사용해 융합된 터치 블롭을 분해하고 손가락을 특정 터치 지점에 할당.
• 실제 터치 상호작용으로부터 수집한 대규모 상부 시각 손 자세 데이터셋으로, 노이즈가 있는 깊이 입력에 대한 일반화 능력을 향상시키기 위해 CNN을 훈련.
• 자세 추정과 블롭 분석을 통합하여 다중 손가락 터치를 명확히 구분하고 스테레오 기립차와 센서 노이즈 상황에서도 감지 정확도를 향상.
• 다양한 손가락이 서로 다른 문자 집합(소문자, 대문자, 숫자, 기호)에 할당된 제스처 기반 타이핑을 가능하게 하는 새로운 가상 키보드에 시스템을 적용.

실험 결과

연구 질문

• RQ1 딥러닝 기반 손 자세 추정이 노이즈가 많은 프로젝터-깊이 시스템에서 터치 감지의 내성 향상에 기여할 수 있는가?
• RQ2 기존의 블롭 기반 방법 대비 자세 인식 분석을 통해 손가락별 터치 감지를 달성할 수 있는가?
• RQ3 3D 손 자세 추정을 통합함으로써 다중 손가락 및 표면 위 제스처 감지 능력이 어떻게 향상되는가?
• RQ4 실제 상호작용 작업, 예를 들어 가상 키보드 입력에서 시스템의 성능 향상 정도는 어느 정도인가?
• RQ5 스테레오 기립차와 같은 일반적인 깊이 센서의 오류 요소가 존재하더라도 시스템이 정확도를 유지할 수 있는가?

주요 결과

• 10명의 자원자 대상 가상 키보드 작업에서 평균 WPM 12.72와 CER 21.63을 기록하여 다중 손가락 타이핑의 기능성을 입증.
• 자동 완성 기능을 적용한 결과 평균 WPM가 57% 증가하여 19.98에 도달하여 텍스트 입력 성능 향상이 뚜렷하게 나타났다.
• 자세 인식 기반 분석을 통해 융합된 터치 블롭을 개별 손가락 터치로 분해하고 정확한 손가락 할당을 실현했다.
• 센서 노이즈와 가림 상황에서도 손끝 위치를 정확히 예측하여 기존의 연결 성분 분석 대비 신뢰성 향상을 보였다.
• 가상 키보드 프로토타입을 통해 '검은색'과 같은 이중 문자 입력 패턴을 손가락 동시 압력으로 입력하는 등 새로운 타이핑 패턴을 가능하게 했다(예: 인덱스와 중지로 'ff' 입력).
• 제안된 방법은 깊이 센서 노이즈와 스테레오 기립차에 대해 강건성을 입증하였으며, 복잡한 터치 시나리오에서 전통적인 블롭 기반 감지 기술을 능가하는 성능을 보였다.