[논문 리뷰] A Deep Learning-based Multimodal Depth-Aware Dynamic Hand Gesture Recognition System

Hasan Mahmud, Mashrur M. Morshed외 1명|arXiv (Cornell University)|2021. 07. 06.

Hand Gesture Recognition Systems인용 수 9

한 줄 요약

이 논문은 양자화된 깊이 맵과 2D 손 뼈대 시퀀스를 사용한 동적 손 동작 인식을 위한 깊이 인식 다중모달 융합 기법을 제안한다. 새로운 깊이 양자화 기법(gVar)을 적용하여 손 영역의 대비를 향상시키고, 정규화 및 정규화를 통한 CRNN 아키텍처 최적화를 통해 DHG-14/28에서 90.21%의 정확도와 SHREC’17에서 93.33%의 정확도를 달성하여 이전의 다중모달 CRNN보다 유의하게 뛰어나면서도 파rameter 수와 입력 해상도를 낮춘다.

ABSTRACT

The dynamic hand gesture recognition task has seen studies on various unimodal and multimodal methods. Previously, researchers have explored depth and 2D-skeleton-based multimodal fusion CRNNs (Convolutional Recurrent Neural Networks) but have had limitations in getting expected recognition results. In this paper, we revisit this approach to hand gesture recognition and suggest several improvements. We observe that raw depth images possess low contrast in the hand regions of interest (ROI). They do not highlight important fine details, such as finger orientation, overlap between the finger and palm, or overlap between multiple fingers. We thus propose quantizing the depth values into several discrete regions, to create a higher contrast between several key parts of the hand. In addition, we suggest several ways to tackle the high variance problem in existing multimodal fusion CRNN architectures. We evaluate our method on two benchmarks: the DHG-14/28 dataset and the SHREC'17 track dataset. Our approach shows a significant improvement in accuracy and parameter efficiency over previous similar multimodal methods, with a comparable result to the state-of-the-art.

연구 동기 및 목표

• 소규모 데이터셋에서 기존 다중모달 융합 CRNN의 낮은 일반화 성능과 높은 분산 문제를 해결한다.
• 특히 미세한 동작에 대해 손 영역의 대비를 향상시켜 깊이 이미지의 특징 표현을 개선한다.
• 정규화 및 아키텍처 정규화를 통해 모델 복잡도를 줄이고 과적합을 방지하면서 성능을 유지한다.
• 입력 단계의 전처리(깊이 양자화)가 다중모달 동작 인식에서 아키텍처 복잡성보다 더 큰 성능 향상을 이끌 수 있음을 입증한다.

제안 방법

• 연속된 깊이 값을 이산 수준으로 매핑하여 손가락, 손바닥, 관절 등 손 부위 간 대비를 향상시키는 새로운 깊이 양자화 기법(gVar)을 도입한다.
• 원시 깊이 이미지에 gVar 변환을 적용한 후 2D-CNN에 입력하여 공간적 특징을 추출함으로써, 손 겹침 및 방향성과 같은 미세한 세부 정보의 가시성을 향상시킨다.
• 배치 정규화, 드롭아웃, SiLU 활성화 함수를 통합한 경량화되고 정규화된 다중모달 CRNN 아키텍처를 설계하여 과적합과 내부 공분산 변화를 줄인다.
• 깊이 및 2D 뼈대 특징을 특징 수준에서 연결(concatenation)하여 융합하고, 양방향 LSTMs를 통해 시간적 모델링을 수행한다.
• 정확도와 일반화 성능의 균형을 맞추기 위해 학습률, 배치 크기, 드롭아웃 비율 등의 초모수를 탐색 실험을 통해 최적화한다.
• 성능을 유지하면서도 효율성을 높이기 위해 깊이 및 2D 뼈대 시퀀스에 대해 저해상도 입력(112×112)을 사용한다.

실험 결과

연구 질문

• RQ1 원시 깊이 맵을 사용할 때 깊이 양자화가 동적 손 동작 인식의 특징 표현에 유의미한 향상을 이끌 수 있는가?
• RQ2 소규모 데이터셋에서 아키텍처 정규화 및 정규화가 다중모달 융합 CRNN의 분산과 과적합을 어느 정도 감소시킬 수 있는가?
• RQ3 특징 수준 융합이 점수 수준 융합보다 정확도 및 파rameter 효율성 측면에서 우수한가?
• RQ4 표준 벤치마크인 DHG-14/28 및 SHREC’17에서 제안된 방법은 최신 기술 대비 어떻게 성능을 냈는가?
• RQ5 기존 다중모달 CRNN가 28가지 동작 인식에서 성능이 떨어지는 이유는 무엇이며, 이는 입력 전처리 및 모델 단순화로 보완될 수 있는가?

주요 결과

• 제안된 gVar-FL-Fusion 모델은 DHG-14/28 데이터셋(14가지 동작)에서 90.21%의 정확도를 달성하여 이전 최고 기술인 다중모달 CRNN(85.46%)보다 4.75% 향상되었다.
• SHREC’17 데이터셋에서는 14가지 동작에서 93.33%의 정확도, 28가지 동작에서는 90.24%의 정확도를 기록하여 모든 이전 다중모달 융합 방법을 능가했으며, 최신 기술에 가까운 성능을 보였다.
• gVar 전처리만으로도 SHREC’17 데이터셋에서 1.43%의 정확도 향상을 기록하여 깊이 이미지의 분류 특징 향상에 핵심적인 역할을 함을 입증했다.
• 배치 정규화 레이어를 제거할 경우 성능 저하가 가장 크게 발생(1.43% 감소)하여, 훈련 안정성과 내부 공분산 변화 감소에 있어 그 중요성을 확인했다.
• 모델 크기를 120만 파rameter로 유지하면서도 이전 다중모달 CRNN 대비 20–30% 감소시켰으며, 정확도는 유지하거나 초월했다.
• 혼동 행렬 분석 결과, Grab과 Pinch 동작 간의 지속적인 오분류 문제가 확인되었는데, 이는 분야 내에서 여전히 해결되지 않은 주요 과제인 미세한 동작 구분 문제를 시사한다.