[논문 리뷰] Fast and Robust Dynamic Hand Gesture Recognition via Key Frames Extraction and Feature Fusion

Hao Tang, Hong Liu외 2명|arXiv (Cornell University)|2019. 01. 15.

Hand Gesture Recognition Systems참고 문헌 60인용 수 9

한 줄 요약

이 논문은 이미지 엔트로피와 밀도 군집을 통한 关键 프레임 추출을 바탕으로 한 빠르고 강건한 동적 손짓 인식 프레임워크를 제안한다. 외관 및 운동 특징 융합 기법을 결합하여, 노스웨스턴 대학교 데이터셋에서 98.23% ± 0.84%의 최신 기술 수준(SOTA) 정확도를 달성하였고, 새로운 '와일드(wild)' 데이터셋에서는 99.21% ± 0.88%의 정확도를 기록하였다. 이는 이전 방법들에 비해 훨씬 감소된 계산 시간을 기록하였다.

ABSTRACT

Gesture recognition is a hot topic in computer vision and pattern recognition, which plays a vitally important role in natural human-computer interface. Although great progress has been made recently, fast and robust hand gesture recognition remains an open problem, since the existing methods have not well balanced the performance and the efficiency simultaneously. To bridge it, this work combines image entropy and density clustering to exploit the key frames from hand gesture video for further feature extraction, which can improve the efficiency of recognition. Moreover, a feature fusion strategy is also proposed to further improve feature representation, which elevates the performance of recognition. To validate our approach in a "wild" environment, we also introduce two new datasets called HandGesture and Action3D datasets. Experiments consistently demonstrate that our strategy achieves competitive results on Northwestern University, Cambridge, HandGesture and Action3D hand gesture datasets. Our code and datasets will release at https://github.com/Ha0Tang/HandGestureRecognition.

연구 동기 및 목표

• 동적 손짓 인식에서 속도와 강건성 간의 균형을 맞추는 도전 과제를 해결하기 위해.
• 모든 프레임을 처리하는 대신 비디오 시퀀스에서 오직 관건적인 프레임만 추출하여 계산 오버헤드를 줄이기 위해.
• 외관 및 운동 특징의 효과적인 융합을 통해 인식 성능을 향상시키기 위해.
• 배경 혼잡도와 추가적인 운동 노이즈가 심한 실제 환경에서의 성능 평가를 위해.
• '와일드' 손짓 인식을 위한 벤치마크로 사용할 수 있도록 새로운 데이터셋(HanDGesture 및 Action3D)을 공개하기 위해.

제안 방법

• 각 프레임의 정보량을 정량화하기 위해 이미지 엔트로피를 사용하여 프레임 엔트로피 값을 2차원 공간에 매핑함.
• 엔트로피 곡선 상의 局부 극점(정점 및 곡선의 곡률 변화점)을 식별하여 특징적인 프레임을 탐지함.
• 밀도 군집을 적용하여 국부 극점을 군집화하고, 군집 중심을 최종 관건 프레임으로 선정함.
• 외관 특징은 깊이 신경망(DCNN, 예: VGG-16)을 사용해 관건 프레임에서 추출하고, 운동 특징은 광학 흐름에서 유도함.
• 외관 및 운동 특징을 조기 또는 후기 융합 기법을 사용해 융합하는 전략을 통해 표현력을 향상시킴.
• 최종으로 손짓 시퀀스의 분류를 위해 서포트 벡터 머신(SVM)을 사용함.

실험 결과

연구 질문

• RQ1 이미지 엔트로피와 밀도 군집이 분류에 유의미한 손짓 정보를 유지하는 대표적인 관건 프레임을 효과적으로 식별할 수 있는가?
• RQ2 외관 및 운동 특징 융합이 복잡한 환경에서 인식의 강건성을 향상시키는가?
• RQ3 기존 표준 데이터셋과 새로운 '와일드' 데이터셋에서 최신 기술 수준의 방법들과 비교해 본 결과, 정확도와 속도 측면에서 어떤가?
• RQ4 이 방법은 배경 혼잡도와 불필요한 운동 노이즈가 심한 실제 세계의 제약 없는 상황에 일반화 가능한가?
• RQ5 실제로 관건 프레임 추출 및 인식 파이프라인의 계산 효율성은 어떠한가?

주요 결과

• 제안된 방법은 노스웨스턴 대학교 데이터셋에서 98.23% ± 0.84%의 정확도를 달성하여 이전 최신 기술 수준의 방법들을 초월함.
• 새로운 HanDGesture 데이터셋에서는 99.21% ± 0.88%의 정확도를 기록하여 제약 없는 환경에서 강력한 일반화 능력을 입증함.
• Action3D 데이터셋에서는 98.98% ± 0.65%의 정확도를 달성하여 복잡한 시나리오와 운동 변화에 대한 강건성을 확인함.
• 전체 파이프라인은 캠브리지에서 테스트 시퀀스를 4.31초, 노스웨스턴에서 10.89초, HanDGesture에서 13.06초, Action3D에서 4.26초에 처리하여 기준선 대비 뛰어난 속도를 보임.
• 가장 계산 시간이 오래 소요되는 구성 요소는 특징 추출이며, 이미지 크기를 줄이거나 GPU 가속을 사용하면 향상될 수 있음.
• 모든 데이터셋에서 두 개의 최신 기술 수준 기반 기준선(Liu와 Shao [59], Zhao와 Elgammal [29])보다 정확도와 추론 속도 측면에서 뛰어남.