[논문 리뷰] HAN: An Efficient Hierarchical Self-Attention Network for Skeleton-Based Gesture Recognition

Jianbo Liu, Ying Wang외 2명|arXiv (Cornell University)|2021. 06. 25.

Hand Gesture Recognition Systems참고 문헌 46인용 수 6

한 줄 요약

이 논문은 뼈대 기반 제스처 인식을 위한 경량의 계층적 자기주의 네트워크인 HAN을 제안한다. 이는 CNN, RNN, GCN을 순수 자기주의 메커니즘으로 대체한다. 손가락 수준의 특징을 관절 자기주의를 통해 모델링하고, 손 수준의 집계를 위해 손가락 자기주의를 활용하며, 시간 동적 특징을 시간 자기주의로 모델링하고, 최종 융합을 위해 융합 자기주의를 사용함으로써, 계산 복잡도를 크게 줄이며 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Previous methods for skeleton-based gesture recognition mostly arrange the skeleton sequence into a pseudo picture or spatial-temporal graph and apply deep Convolutional Neural Network (CNN) or Graph Convolutional Network (GCN) for feature extraction. Although achieving superior results, these methods have inherent limitations in dynamically capturing local features of interactive hand parts, and the computing efficiency still remains a serious issue. In this work, the self-attention mechanism is introduced to alleviate this problem. Considering the hierarchical structure of hand joints, we propose an efficient hierarchical self-attention network (HAN) for skeleton-based gesture recognition, which is based on pure self-attention without any CNN, RNN or GCN operators. Specifically, the joint self-attention module is used to capture spatial features of fingers, the finger self-attention module is designed to aggregate features of the whole hand. In terms of temporal features, the temporal self-attention module is utilized to capture the temporal dynamics of the fingers and the entire hand. Finally, these features are fused by the fusion self-attention module for gesture classification. Experiments show that our method achieves competitive results on three gesture recognition datasets with much lower computational complexity.

연구 동기 및 목표

• 제스처 인식에서 뼈대 관절 간의 동적이고 상호작용적인 특징을 포착하는 데에 제한이 있는 CNN 및 GCN의 문제점을 해결하기 위해.
• 가짜 이미지와 공간-시간 그래프의 고정된 구조적 제약을 극복하여 관절 상호작용을 모델링하기 위해.
• 실시간 뼈대 기반 제스처 인식을 위한 경량이고 효율적인 딥러닝 아키텍처를 설계하기 위해.
• 손가락과 손바닥의 계층적 구조를 활용하여 특징 표현과 분류 정확도를 향상시키기 위해.

제안 방법

• 메서드는 손가락 5개와 손바닥을 포함한 6개의 부분으로 손 관절을 나누어 계층적 특징 학습을 가능하게 한다.
• 관절 자기주의(J-Att)는 각 손가락의 네 개의 관절 간의 주의를 모델링하여 공간적 특징을 포착한다.
• 손가락 자기주의(F-Att)는 모든 손가락과 손바닥의 특징을 집계하여 통합된 손의 표현을 형성한다.
• 시간 자기주의(T-Att)는 프레임 간의 장거리 시간적 의존성을 모델링하여 손가락 수준 및 손 수준의 특징을 모두 다룬다.
• 융합 자기주의(Fusion-Att)는 손가락과 손의 시간적 특징을 융합하여 최종 제스처 분류를 수행한다.
• 멀티헤드 자기주의를 사용하며, J-Att 및 T-Att 모듈 간에 가중치를 공유함으로써 파라미터를 줄이고 과적합을 방지한다.

Figure 1: The motion of hand joints for gesture “Pinch”. The arrows represent the movements of hand joints. The motion of four joints in each finger has a similar tendency.

실험 결과

연구 질문

• RQ1 순수 자기주의 메커니즘이 계산 비용을 줄이며 CNN 및 GCN 기반 방법보다 성능을 뛰어넘을 수 있는가?
• RQ2 계층적 주의는 제스처 시퀀스에서 국소적 손가락 역학과 전반적인 손 상호작용을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 주의 시각화 결과가 모델이 제스처 인식 중 가장 분류에 기여하는 관절과 프레임에 집중하고 있음을 확인하는가?
• RQ4 소규모 제스처 데이터셋에서 최적의 성능을 내는 하이퍼파rameter 설정(예: 헤드 수, 차원, 드롭아웃)은 무엇인가?
• RQ5 J-Att 및 T-Att 모듈 간의 가중치 공유가 성능을 유지하면서 모델 복잡도를 줄일 수 있는가?

주요 결과

• HAN은 SHREC’17 Track 14-제스처 데이터셋에서 95.00%의 정확도를 달성하여 이전 방법보다 유의미하게 낮은 계산 복잡도를 기록했다.
• 최적의 주의 헤드 수는 8개이며, 이 이상일 경우 성능 포화 상태에 도달한다.
• 헤드 차원 32가 특징 표현과 과적합 간의 최적의 균형을 이룬다.
• 드롭아웃 비율 0.1이 가장 우수한 일반화 성능을 보였으며, 이보다 높은 비율은 과소적합을 유도한다.
• J-Att 및 T-Att 모듈에서의 가중치 공유로 인해 파라미터가 감소하고 성능이 향상되어 95.00%의 정확도를 달성했다.
• 주의 시각화 결과는 모델이 '핀치' 제스처에서 가장 동적인 관절(예: 엄지와 검지)과 핵심 프레임에 집중하고 있음을 확인하였으며, 이는 모델의 해석 가능성성을 검증한다.

Figure 2: The framework of our proposed Hierarchical Self-Attention Network (HAN). The hand is divided into 6 parts, joints of each part are fed into J-Att to extract finger features. These finger features are aggregated to hand features using F-Att . T-Att is used to capture temporal features of fi