[논문 리뷰] GestARLite: An On-Device Pointing Finger Based Gestural Interface for Smartphones and Video See-Through Head-Mounts

Varun Jain, Gaurav Garg외 2명|arXiv (Cornell University)|2019. 04. 19.

Hand Gesture Recognition Systems참고 문헌 30인용 수 5

한 줄 요약

GestARLite는 스마트폰과 비디오 시야 투과형 헤드셋 디스플레이를 위한 경량이며 디바이스 내에서 동작하는 제스처 인터페이스로, RGB 비디오와 다층 딥러닝 모델(모바일넷V2를 통한 손 검출, 맞춤형 손끝 회귀 모델, Bi-LSTM를 통한 제스처 분류)을 사용하여 스냅드래곤 845 스마트폰에서 평균 지연 시간 0.12초로 80%의 정확도를 달성하며, 깊이 센서나 인터넷 의존 없이 실시간 오프라인 상호작용을 가능하게 한다.

ABSTRACT

Hand gestures form an intuitive means of interaction in Mixed Reality (MR) applications. However, accurate gesture recognition can be achieved only through state-of-the-art deep learning models or with the use of expensive sensors. Despite the robustness of these deep learning models, they are generally computationally expensive and obtaining real-time performance on-device is still a challenge. To this end, we propose a novel lightweight hand gesture recognition framework that works in First Person View for wearable devices. The models are trained on a GPU machine and ported on an Android smartphone for its use with frugal wearable devices such as the Google Cardboard and VR Box. The proposed hand gesture recognition framework is driven by a cascade of state-of-the-art deep learning models: MobileNetV2 for hand localisation, our custom fingertip regression architecture followed by a Bi-LSTM model for gesture classification. We extensively evaluate the framework on our EgoGestAR dataset. The overall framework works in real-time on mobile devices and achieves a classification accuracy of 80% on EgoGestAR video dataset with an average latency of only 0.12 s.

연구 동기 및 목표

• 구현 비용이 낮은 비디오 시야 투과형 헤드셋 디스플레이(HMD), 예를 들어 구글 카드보드와 같은 기기에서 실시간으로 디바이스 내 손 제스처 인식을 가능하게 하기 위해.
• 고성능 기기나 깊이 센서가 필요로 하는 기존 딥러닝 모델의 계산 및 하드웨어 제약을 극복하기 위해.
• 인터넷 연결 없이도 작동하는 마커리스, RGB 전용 제스처 인터페이스를 개발하여, 원거리 또는 오프라인 환경에서도 사용 가능성을 확보하기 위해.
• 데이터 시각화, 원격 존재, 산업 점검과 같은 혼합현실(MR) 응용 프로그램을 위한 확장 가능하고 유연한 프레임워크를 구축하기 위해.
• 소비자용 모바일 하드웨어에 경량이며 정확하고 효율적인 제스처 인식 파이프라인을 구현할 수 있는 가능성을 입증하기 위해.

제안 방법

• 프레임워크는 첫인승 시야(FPV) 비디오 스트림에서 손의 위치를 국소화하기 위해 경량 객체 검출기인 모바일넷V2를 사용한다.
• 자르고 크기를 조정한 손 영역에서 2차원 손끝 좌표를 추정하기 위해 맞춤형 딥뉴럴 네트워크를 훈련시켜 정위치 정확도를 향상시킨다.
• 연속된 프레임 간의 손끝 위치를 Bi-LSTM 네트워크가 처리하여 동적 포인터 제스처를 분류하며, 시간에 따른 운동 패턴을 포착한다.
• 전체 파이프라인은 텐서플로우 라이트를 사용해 최적화 및 배포되어, 원격 서버 의존 없이도 모바일 기기에서 실시간 추론이 가능하도록 한다.
• 시스템은 10종의 서로 다른 포인터 제스처를 포함한 총 240개의 에고센트릭 비디오 시퀀스로 구성된 EgoGestAR 데이터셋을 기반으로 훈련된다.
• 모델 양자화 및 모델 압축 기법을 적용하여 총 모델 크기를 16.3MB로 감소시켜, 디바이스 내 배포를 보장한다.

실험 결과

연구 질문

• RQ1 소비자용 스마트폰에서 깊이 센서나 외부 하드웨어 없이도 실시간 성능을 달성할 수 있는 경량의 디바이스 내 제스처 인식 시스템은 가능한가?
• RQ2 손 검출, 손끝 회귀, 시간적 분류를 분리한 모듈식 파이프라인은 에고센트릭 비디오에서 제스처 인식에 있어 종단 간 딥러닝 모델 대비 얼마나 효과적인가?
• RQ3 구글 카드보드와 같은 저자원 기기에서 구현된 프레임워크가 정확도와 낮은 지연 시간을 유지하는 정도는 어느 정도인가?
• RQ4 다양한 배경, 수많은 손 색상, 네일 페인트 또는 경미한 상처와 같은 조건에서 시스템 성능은 어떻게 되는가?
• RQ5 이 프레임워크는 혼합현실 응용 프로그램에서 더 넓은 범위의 제스처를 지원하도록 확장 가능한가?

주요 결과

• GestARLite 프레임워크는 깊이 정보 없이 RGB 입력만을 사용하여 EgoGestAR 데이터셋에서 80.00%의 제스처 분류 정확도를 달성한다.
• 스냅드래곤 845 기반 스마트폰에서 평균 지연 시간 0.12초로 실시간으로 작동하여 반응성 있는 사용자 상호작용을 가능하게 한다.
• 모바일넷V2 검출기는 640×480 해상도에서 9 FPS로 작동하며, 손끝 회귀기는 99×99 해상도에서 최대 166 FPS로 작동하여 효율적인 처리를 보장한다.
• 전체 모델의 메모리 프로파일은 단지 16.3MB로 매우 작아, 자원 제약이 있는 모바일 및 웨어러블 기기의 배포에 적합하다.
• 손의 색상, 크기, 경미한 가림 등 변화에 대해 강건하며, 손끝 회귀기가 일관되게 손끝 영역을 정확히 정위치한다.
• 모듈식 설계는 종단 간 모델인 Tsironi 등(32.27% 정확도), VGG16+LSTM(58.18%), C3D(66.36%)보다 정확도와 지연 시간 측면에서 뛰어난 성능을 보이며, 과제에 특화된 구성 요소 설계의 우수성을 입증한다.