[논문 리뷰] Large-scale Continuous Gesture Recognition Using Convolutional Neural Networks

Pichao Wang, Wanqing Li외 4명|arXiv (Cornell University)|2016. 08. 22.

Hand Gesture Recognition Systems참고 문헌 38인용 수 11

한 줄 요약

이 논문은 깊이 맵 시퀀스만을 사용하여 대규모 연속 제스처 인식을 위한 딥러닝 접근법을 제안한다. 제스처는 운동량의 양(QoM)을 통해 분할되며, 공간-시간 특징을 인코딩하기 위해 개선된 깊이 동역학 맵(IDMM)을 구성하고, 분류를 위해 미세조정된 컨볼루션 네트워크(ConvNets)를 활용하여 평균 재현율 지수(Jaccard index) 0.2655를 달성하고 ChaLearn LAP 2016 경연에서 3위를 기록하였다.

ABSTRACT

This paper addresses the problem of continuous gesture recognition from sequences of depth maps using convolutional neutral networks (ConvNets). The proposed method first segments individual gestures from a depth sequence based on quantity of movement (QOM). For each segmented gesture, an Improved Depth Motion Map (IDMM), which converts the depth sequence into one image, is constructed and fed to a ConvNet for recognition. The IDMM effectively encodes both spatial and temporal information and allows the fine-tuning with existing ConvNet models for classification without introducing millions of parameters to learn. The proposed method is evaluated on the Large-scale Continuous Gesture Recognition of the ChaLearn Looking at People (LAP) challenge 2016. It achieved the performance of 0.2655 (Mean Jaccard Index) and ranked $3^{rd}$ place in this challenge.

연구 동기 및 목표

• 제스처 경계가 알려지지 않은 비제약 조건의 깊이 시퀀스에서 연속 제스처 인식을 해결하기 위해.
• 불완전한 제스처 분할에 영향을 받지 않는 강건한 분류 프레임워크를 개발하기 위해.
• 재학습 없이도 효율적인 특징 학습을 위해 사전 훈련된 ConvNets를 활용하기 위해.
• RGB 또는 다중 모odal 입력에 의존하지 않고 깊이 데이터만을 사용하여 높은 성능을 달성하기 위해.

제안 방법

• 제스처 시퀀스는 운동 강도에 기반해 잠재적 제스처 경계를 식별하는 운동량의 양(QoM) 방법을 사용해 분할된다.
• 각 분할된 제스처에 대해, 깊이 맵 간의 차이를 스택하여 공간적 및 시간적 역학을 하나의 이미지로 인코딩하는 개선된 깊이 동역학 맵(IDMM)이 구성된다.
• IDMM는 사전 훈련된 컨볼루션 네트워크를 통해 특징 추출 및 분류에 입력되어 전이 학습과 파rameter 효율성을 가능하게 한다.
• 기존의 컨볼루션 네트워크 모델(예: AlexNet)을 IDMM 표현에 대해 미세조정하여, 수백만 개의 새로운 파라미터를 재학습하지 않고도 제스처 분류에 적합하게 조정한다.
• QoM 처리 중에 슬라이딩 윈도우 정밀화 단계를 적용하여, 각 윈도우 내에서 QoM가 최소인 프레임을 선택함으로써 경계 검출 성능을 향상시킨다.
• 분류 작업은 제스처 세그먼트 단위로 수행되며, 전체 테스트 시퀀스에 걸쳐 재현율 지수(Jaccard index)를 사용해 인식 성능을 평가한다.

실험 결과

연구 질문

• RQ1 RGB 또는 스켈레톤 데이터 없이 단일 모odal 깊이 기반 방법이 연속 제스처 인식에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 IDMM 표현은 제스처 분류를 위한 공간-시간 역학을 얼마나 효과적으로 인코딩하는가?
• RQ3 사전 훈련된 컨볼루션 네트워크가 IDMM에 대해 얼마나 잘 미세조정되어 최소한의 추가 훈련으로도 높은 정확도를 달성할 수 있는가?
• RQ4 딥러닝과 결합했을 때 QoM 기반 분할 방법은 종단 간 제스처 인식에서 얼마나 강건한가?

주요 결과

• 제안된 방법은 ChaLearn LAP 2016 경연의 테스트 세트에서 평균 재현율 지수 0.2655를 기록하여 26개 팀 중 3위를 차지하였다.
• RGB와 깊이 모달을 모두 사용한 베이스라인 방법이 테스트 세트에서 0.1435를 기록한 것과는 달리, 깊이 데이터만을 사용함에도 불구하고 이 방법은 더 높은 성능을 달성하였다.
• 검증 평균 재현율 지수 0.2403을 기록하여, 베이스라인 MFSK 방법(0.0918)과 MFSK+DeepID(0.0902)를 크게 앞서며 성능을 뛰어넘었다.
• 다중 모달 입력(RGB 및 깊이)을 사용한 상위 두 방법과 비슷한 성능을 기록함으로써, 깊이 전용 접근법의 효과성을 입증하였다.
• 계산 비용은 중간 수준이었으며, Tesla K40가 탑재된 GPU 장착 워크스테이션에서 깊이 시퀀스당 약 0.8초가 소요되었다.
• 결과적으로 IDMM와 미세조정된 컨볼루션 네트워크는 대규모 연속 제스처 인식에 대해 강력하고 효율적이며 확장 가능한 솔루션을 제공함을 보여주었다.