[논문 리뷰] A Two-stream Neural Network for Pose-based Hand Gesture Recognition

Chuankun Li, Shuai Li외 3명|arXiv (Cornell University)|2021. 01. 22.

Hand Gesture Recognition Systems참고 문헌 47인용 수 8

한 줄 요약

이 논문은 운동 패턴이 유사한 제스처를 인식하는 데 어려움을 겪는 기존 모델의 문제를 해결하기 위해, 동적 공간 관계를 모델링하는 자기주의 기반 그래프 컨볼루션 네트워크(SAGCN)와 장기적인 시간적 의존성을 포착하는 잔차 연결 강화 양방향 IndRNN(RBi-IndRNN)을 조합한 이중 스트림 신경망을 제안한다. 제안된 방법은 동적 손 제스처(DHG) 및 제1인칭 손 동작(FPHA) 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여, 유사한 운동 패턴을 가진 어려운 제스처를 효과적으로 인식한다.

ABSTRACT

Pose based hand gesture recognition has been widely studied in the recent years. Compared with full body action recognition, hand gesture involves joints that are more spatially closely distributed with stronger collaboration. This nature requires a different approach from action recognition to capturing the complex spatial features. Many gesture categories, such as "Grab" and "Pinch", have very similar motion or temporal patterns posing a challenge on temporal processing. To address these challenges, this paper proposes a two-stream neural network with one stream being a self-attention based graph convolutional network (SAGCN) extracting the short-term temporal information and hierarchical spatial information, and the other being a residual-connection enhanced bidirectional Independently Recurrent Neural Network (RBi-IndRNN) for extracting long-term temporal information. The self-attention based graph convolutional network has a dynamic self-attention mechanism to adaptively exploit the relationships of all hand joints in addition to the fixed topology and local feature extraction in the GCN. On the other hand, the residual-connection enhanced Bi-IndRNN extends an IndRNN with the capability of bidirectional processing for temporal modelling. The two streams are fused together for recognition. The Dynamic Hand Gesture dataset and First-Person Hand Action dataset are used to validate its effectiveness, and our method achieves state-of-the-art performance.

연구 동기 및 목표

• 운동 패턴이 유사한 제스처, 예를 들어 'Grab' 대 'Pinch'와 같은 제스처를 인식하는 데 어려움을 겪는 기존 모델의 문제를 해결하기 위해.
• 고정된 뼈대 구조 외부의 제스처에 따라 달라지는 관절 간 협업을 포착하여 손 관절의 공간 모델링을 향상시키기 위해.
• 기존 GCN의 수신 영역 제한으로 인해 생기는 문제를 해결하고, 손 제스처 시퀀스의 장기적인 시간적 의존성을 효과적으로 학습하기 위해.
• 공간적 및 장기적인 시간적 모델링을 통합하여 개선된 제스처 인식 정확도를 확보하는 강력한 딥 러닝 프레임워크를 개발하기 위해.
• 양방향 및 잔차 연결이 제스처 인식의 시간적 특징 학습에 있어서 순환 네트워크에서 효과적인지 검증하기 위해.

제안 방법

• 이 방법은 이중 스트림 아키텍처를 사용한다: 한 스트림은 자기주의 기반 그래프 컨볼루션 네트워크(SAGCN)를 활용하여 학습된 상관관계 매핑을 사용해 쌍별 관절 관계를 동적으로 모델링하면서도 고정된 손 뼈대 구조를 유지한다.
• SAGCN은 모든 손 관절 간의 관계를 적응적으로 가중하는 글로벌 자기주의 메커니즘을 통합하여 고정된 국소 연결성을 초월한 공간 특징 학습을 향상시킨다.
• 두 번째 스트림은 잔차 연결을 강화한 양방향 IndRNN(RBi-IndRNN)으로, 제스처 시퀀스의 장거리 의존성을 포착하기 위해 깊고 안정적이며 양방향 시간 모델링을 가능하게 한다.
• RBi-IndRNN는 기울기 소실 문제를 완화하기 위해 잔차 연결을 사용하며, 더 깊은 네트워크 깊이를 가능하게 하여 시간 표현 학습을 향상시킨다.
• 두 스트림의 특징는 네트워크의 초기 단계에서 융합되어 최종 분류를 위한 공간적 및 장기적인 시간적 정보를 통합한다.
• 모델은 관절의 세계 좌표와 시간적 이동 특징를 함께 사용하여 끝에서 끝까지 훈련되며, 분류 능력을 향상시킨다.

Figure 1: Framework of the proposed two-stream network. SAGCN module focuses on hierarchical spatial information and short-term temporal information, and RBi-IndRNN focuses on long-term temporal information.

실험 결과

연구 질문

• RQ1 자기주의 메커니즘이 제스처에 따라 다를 수 있는 관절 간 관계를 적응적으로 모델링함으로써, 손 제스처 인식을 위한 그래프 컨볼루션 네트워크의 공간 모델링을 향상시킬 수 있는가?
• RQ2 IndRNN에서의 양방향 처리가 'Grab'과 'Pinch'와 같은 미세한 시간적 차이를 가진 제스처의 인식을 향상시키는가?
• RQ3 깊은 양방향 RNN에서 잔차 연결이 기존 GCN이 놓치는 장기적인 시간 패턴을 효과적으로 포착할 수 있는가?
• RQ4 SAGCN(공간/단기)과 RBi-IndRNN(장기 시간적)의 상호 보완적 강점을 통합함으로써 전체 제스처 인식 성능가 향상되는가?
• RQ5 복잡한 손 제스처를 인식할 때, 이중 스트림 융합 기법이 단일 스트림 모델보다 얼마나 뛰어난 성능을 보이는가?

주요 결과

• 제안된 이중 스트림 네트워크는 동적 손 제스처(DHG) 데이터셋에서 최신 기술 수준의 정확도를 달성하여 기존 수작업 및 딥 러닝 방법을 모두 능가한다.
• DHG-14 데이터셋에서 관절의 세계 좌표와 시간 이동 특징를 사용할 경우, 분류 정확도가 92.19%에 도달하여 순수한 IndRNN보다 3.05%p 높다.
• FPHA 데이터셋에서는 비교된 방법들 중에서 가장 높은 정확도를 기록했으며, 혼동 행렬을 통해 대부분의 제스처 클래스가 효과적으로 인식됨을 확인할 수 있었다.
• SAGCN은 공간적 변동성이 높고 시간적 움직임이 적은 제스처, 예를 들어 'Swipe Left'에 대해 가장 우수한 성능를 보였고, RBi-IndRNN은 'Grab'과 같은 복잡한 시간적 제스처에서 뛰어난 성능를 보였다.
• 제거 실험 결과, RBi-IndRNN의 양방향 처리와 잔차 연결이 성능 향상에 크게 기여하며, 전체 RBi-IndRNN이 순수한 및 단방향 변형보다 뛰어난 성능를 보였다.
• 강력한 성능에도 불구하고, '지갑 열기'와 '봉투에서 서류 꺼내기'와 같은 손-물체 상호작용을 포함한 제스처는 뼈대 기반 표현의 한계로 인해 여전히 인식이 어려운 편이다.

Figure 2: Sample of hand skeleton in the DHG 14/28 dataset [ 8 ] . Referencing to the gravity center of the hand joints (purple cross), the neighbouring connected joints of each joint, called root (blue circle), are grouped into two: 1) centripetal group (yellow circle): adjacent nodes closer to the