[논문 리뷰] IPN Hand: A Video Dataset and Benchmark for Real-Time Continuous Hand Gesture Recognition

Gibran Benítez-García, Jesús Olivares-Mercado외 2명|arXiv (Cornell University)|2020. 04. 20.

Hand Gesture Recognition Systems참고 문헌 29인용 수 13

한 줄 요약

이 논문은 50명의 피험자로부터 촬영한 4,000개 이상의 제스처 샘플과 800,000개의 RGB 프레임을 포함한 대규모 실생활 영상 데이터셋인 IPN Hand를 소개한다. 이는 실시간 연속 수동 제스처 인식(HGR)을 평가하기 위한 벤치마크로 설계되었다. RGB, 옵티컬 플로우, 세분화 모달리티를 사용한 3D-CNN 모델을 평가한 결과, RGB+세분화 모달리티가 RGB 전용보다 정확도를 최대 10% 향상시키며 실시간 추론 성능를 유지함으로써, 자연스럽고 도전적인 HGR 환경에서의 강력한 벤치마크로 기능함을 입증하였다.

ABSTRACT

In this paper, we introduce a new benchmark dataset named IPN Hand with sufficient size, variety, and real-world elements able to train and evaluate deep neural networks. This dataset contains more than 4,000 gesture samples and 800,000 RGB frames from 50 distinct subjects. We design 13 different static and dynamic gestures focused on interaction with touchless screens. We especially consider the scenario when continuous gestures are performed without transition states, and when subjects perform natural movements with their hands as non-gesture actions. Gestures were collected from about 30 diverse scenes, with real-world variation in background and illumination. With our dataset, the performance of three 3D-CNN models is evaluated on the tasks of isolated and continuous real-time HGR. Furthermore, we analyze the possibility of increasing the recognition accuracy by adding multiple modalities derived from RGB frames, i.e., optical flow and semantic segmentation, while keeping the real-time performance of the 3D-CNN model. Our empirical study also provides a comparison with the publicly available nvGesture (NVIDIA) dataset. The experimental results show that the state-of-the-art ResNext-101 model decreases about 30% accuracy when using our real-world dataset, demonstrating that the IPN Hand dataset can be used as a benchmark, and may help the community to step forward in the continuous HGR. Our dataset and pre-trained models used in the evaluation are publicly available at https://github.com/GibranBenitez/IPN-hand.

연구 동기 및 목표

• 실시간 연속 수동 제스처 인식(HGR)에서 실생활 도전 과제를 현실적으로 시뮬레이션할 수 있는 공개된 데이터셋의 부족을 해결하기 위해.
• 조명, 배경, 환경 복잡도의 실제 변동성을 포함한 대규모이고 다양한 데이터셋을 개발하여 HGR를 위한 딥러닝 모델의 훈련과 평가를 향상시키기 위해.
• 기존의 RGB+옵티컬 플로우 또는 RGB+깊이 대비, RGB와 세분화를 융합한 다중 모달리티 융합의 효과를 실시간 HGR에서 평가하기 위해.
• 특히 내부 클래스 변동성과 중립 상태가 없는 연속 제스처 입력 상황에서의 실생활 성능을 반영하는 벤치마크를 확립하기 위해.

제안 방법

• IPN Hand 데이터셋은 50명의 피험자가 약 30개의 실생활 장면에서 13종의 정적 및 동적 제스처를 수행한 결과로 수집되었다. 이 장면들은 조도, 배경, 동적인 환경 등 다양한 조건을 포함한다.
• 데이터셋은 전이 상태가 없는 연속 제스처 시퀀스와 제스처가 아닌 자연스러운 손 움직임을 포함하여, 실제 터치리스 상호작용 시나리오를 시뮬레이션한다.
• RGB, 옵티컬 플로우, 세분화 모달리티를 사용하여 고립된 제스처 및 연속 HGR 작업에 대해 최신 3D-CNN 모델들인 ResNet-50, ResNeXt-101, ResLight-10을 훈련하고 평가하였다.
• 경량 검출기(ResLight-10)로 제스처/비제스처 분류를 수행한 후, 제스처 클래스 예측을 위한 분류기(ResNet-50 또는 ResNeXt-101)를 사용하는 계층적 이중 모델 접근법을 적용하였다.
• 옵티컬 플로우 또는 깊이 대비, RGB와 세분화의 데이터 수준 융합을 탐색하여 실시간 성능를 희생시키지 않은 채 정확도 향상을 도모하였다.
• 연속 제스처 인식에서 시퀀스 수준 정확도를 측정하기 위해 레벤슈타인 거리가 사용되었으며, 이중 분류 정확도와 혼동 행렬은 검출기 성능 평가에 사용되었다.

실험 결과

연구 질문

• RQ1 지속적인 제스처와 자연스러운 손 움직임을 포함한 대규모 실생활 데이터셋이 연속 HGR를 위한 딥러닝 모델의 강건성 향상에 기여할 수 있는가?
• RQ2 옵티컬 플로우 또는 깊이 대비, 세분화 모달리티를 포함할 경우 실시간 HGR에서 정확도 향상에 어떤 영향을 미치는가?
• RQ3 제스처 지속 시간의 내부 클래스 변동성과 실생활 장면의 다양성이 연속 HGR에서 3D-CNN 모델의 성능에 어느 정도 영향을 미치는가?
• RQ4 제안된 IPN Hand 데이터셋은 실시간 연속 HGR 시스템의 평가 및 발전을 위한 신뢰할 수 있는 벤치마크로 기능할 수 있는가?

주요 결과

• IPN Hand 데이터셋은 ResNeXt-101와 같은 최신 모델의 정확도를 간단한 벤치마크 대비 약 30% 감소시켜, 그 현실성과 난이도를 입증하였다.
• 세분화 모달리티를 추가함으로써 RGB 전용 대비 최대 10% 향상된 레벤슈타인 정확도를 기록하였으며, ResNeXt-101 모델은 RGB+seg에서 39.01%의 정확도를 달성했고, RGB 전용일 경우 25.34%였다.
• RGB+세분화 융합은 RGB+옵티컬 플로우(42.47%)보다 더 높은 정확도를 달성했으며, 추론 시간도 짧아(39.9ms 대비 53.7ms) 실시간 시스템에 더 적합하였다.
• ResLight-10 검출기는 RGB+flow에서 82.43%의 정확도를 기록했고, RGB+seg에서는 80.06%를 기록하여 RGB 전용 기준(75.4%)보다 뚜렷이 뛰어났으며, 특히 비제스처 프레임 탐지에서 뛰어난 성능을 보였다.
• 혼동 행렬 분석 결과, RGB 전용 모델은 85%의 비제스처 프레임을 잘못 분류한 반면, 다중 모달리티 모델은 이 오류를 크게 감소시켰다.
• ResNet-50와 RGB+seg를 사용한 계층적 이중 모델 접근법은 총 추론 시간 29.2ms에 33.27%의 레벤슈타인 정확도를 기록하여 정확도와 속도 사이의 균형을 잘 유지함을 입증하였다.