[논문 리뷰] Construct Dynamic Graphs for Hand Gesture Recognition via Spatial-Temporal Attention

Yuxiao Chen, L. Zhao외 3명|arXiv (Cornell University)|2019. 07. 20.

Hand Gesture Recognition Systems참고 문헌 37인용 수 31

한 줄 요약

이 논문은 수동 손의 뼈대 시퀀스에서 동적이고 주의 기반 그래프를 학습하여 제스처 인식을 향상시키는 동적 그래프 기반 공간-시간 주의 메커니즘(DG-STA)을 제안한다. 완전히 연결된 그래프에 공간-시간 자기주의를 적용함으로써, 간선 가중치와 노드 특징을 적응적으로 학습한다. 이로써 DHG-14/28 및 SHREC’17 벤치마크에서 각각 91.9%와 94.4%의 상위-1 정확도로 최신 기술(SOTA)을 달성하면서도, 새로운 공간-시간 마스크를 통해 연산량을 99% 감소시켰다.

ABSTRACT

We propose a Dynamic Graph-Based Spatial-Temporal Attention (DG-STA) method for hand gesture recognition. The key idea is to first construct a fully-connected graph from a hand skeleton, where the node features and edges are then automatically learned via a self-attention mechanism that performs in both spatial and temporal domains. We further propose to leverage the spatial-temporal cues of joint positions to guarantee robust recognition in challenging conditions. In addition, a novel spatial-temporal mask is applied to significantly cut down the computational cost by 99%. We carry out extensive experiments on benchmarks (DHG-14/28 and SHREC'17) and prove the superior performance of our method compared with the state-of-the-art methods. The source code can be found at https://github.com/yuxiaochen1103/DG-STA.

연구 동기 및 목표

• 고정된 구조를 가진 그래프가 동적 손 제스처 변화를 포착하는 데 한계가 있음을 해결하기 위해.
• 손 관절 시퀀스의 공간적 및 시간적 의존성을 명시적으로 모델링하여 뼈대 기반 손 제스처 인식을 향상시키기 위해.
• 성능을 희생시키지 않은 채 그래프 기반 모델의 계산 비용을 감소시키기 위해.
• 인간 운동 이해 분야에서 그래프 기반 시퀀스 모델링을 위한 일반화 가능한 프레임워크를 개발하기 위해.

제안 방법

• 손 뼈대 관절에서 완전히 연결된 그래프를 구성하며, 노드는 관절을 나타내고 간선은 자기주의를 통해 동적으로 학습된다.
• 공간-시간 자기주의를 적용하여 공간적 및 시간적 차원에서 간선 가중치와 노드 특징을 동시에 최적화한다.
• 관절 식별자와 시간 순서를 인코딩하기 위해 공간-시간 위치 임베딩을 도입하여 특징 표현을 향상시킨다.
• 새로운 공간-시간 마스크를 활용하여 관련이 없는 주의 점수를 억제함으로써 FLOPs를 99% 감소시킨다.
• 주의 모듈에서 학습 가능한 쿼리-키-밸류 메커니즘을 사용하여 시간에 따라 관련 있는 관절 관계에 적응적으로 집중한다.
• 3D 관절 좌표 시퀀스를 입력으로 처리하며, 액션 마다 그래프 구조가 진화하여 표현력을 향상시킨다.

실험 결과

연구 질문

• RQ1 자기주의를 통한 동적 그래프 구축이 고정된 구조를 가진 그래프를 초월해 제스처 인식을 향상시킬 수 있는가?
• RQ2 공간-시간 주의는 손 제스처의 공간적 구성과 시간적 동역학을 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 공간-시간 마스크는 정확도를 유지하면서 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 제안된 방법은 노이즈가 있거나 길이가 변하는 시퀀스를 포함한 도전적인 데이터셋에서 일반화 가능한가?

주요 결과

• DG-STA는 DHG-14/28 데이터셋에서 91.9%의 정확도를 달성하여 이전 SOTA인 ST-GCN(91.2%)과 STA-Res-TCN(89.2%)을 초월한다.
• 더 도전적인 SHREC’17 트랙 데이터셋에서 DG-STA는 14가지 제스처 설정에서 94.4%의 정확도를 기록하여 모든 이전 방법을 능가한다.
• 제안된 공간-시간 마스크 덕분에 계산 비용이 99% 감소하여 장시간 시퀀스에서도 효율적인 추론이 가능해졌다.
• 공간-시간 위치 임베딩은 관절 식별자와 시간 순서를 인코딩함으로써 성능 향상과 주의 정밀도 향상을 이끌어냈다.
• 공간적 및 시간적 구조를 명시적으로 모델링하지 않는 방법들보다 DG-STA가 뚜렷이 우수한 성능을 보였으며, 이는 제스처 인식에서 이러한 구조의 중요성을 확인한다.
• 간단한 아키텍처를 사용함에도 불구하고 DG-STA는 28가지 제스처 SHREC’17 설정에서 STA-Res-TCN와 유사한 성능을 달성하여 우수한 일반화 능력을 보였다.