[논문 리뷰] Hand Gesture Recognition with Leap Motion

Youchen Du, Shenglan Liu외 3명|arXiv (Cornell University)|2017. 11. 12.

Hand Gesture Recognition Systems참고 문헌 11인용 수 10

한 줄 요약

이 논문은 수동 추적 데이터에서 유도된 손 자세 특징과 센서 이미지에서 추출된 HOG 특징을 융합하여 레이프 모션 컨트롤러를 사용한 고정밀도 손 동작 인식 시스템을 제안한다. 새로운 손끝 끝단 거리(T) 특징을 도입하고 PCA 차원 감소 기반 가중치 특징 융합을 적용함으로써, 13명의 피험자로부터 수집한 10가지 동작에 대한 2,600개 샘플로 구성된 자체 제작 데이터셋에서 99.62%의 정확도를 달성한다.

ABSTRACT

The recent introduction of depth cameras like Leap Motion Controller allows researchers to exploit the depth information to recognize hand gesture more robustly. This paper proposes a novel hand gesture recognition system with Leap Motion Controller. A series of features are extracted from Leap Motion tracking data, we feed these features along with HOG feature extracted from sensor images into a multi-class SVM classifier to recognize performed gesture, dimension reduction and feature weighted fusion are also discussed. Our results show that our model is much more accurate than previous work.

연구 동기 및 목표

• 고정밀도 깊이 추적 기능을 제공하는 레이프 모션을 활용한 내성적인 손 동작 인식 시스템 개발.
• 기존 연구의 한계를 보완하기 위해 인식 정확도 향상을 위해 새로운 특징인 손끝 끝단 거리(T) 특징을 도입.
• 분류 성능 향상을 위해 센서 이미지에서 추출한 HOG 특징과 추적 데이터 특징을 융합하는 효과를 평가.
• 가중치 계수와 PCA를 통한 차원 감소를 통해 특징 융합 최적화.
• 향후 연구의 기준이 될 수 있도록 2,600개 샘플로 구성된 새로운 공개 데이터셋 구축.

제안 방법

• 레이프 모션의 3차원 추적 데이터에서 자세 기반 특징(A, D, E, T)을 추출하였으며, T는 제안된 손끝 끝단 거리 특징이다.
• 레이프 모션에서 얻은 이진화 및 왜곡 보정된 센서 이미지에서 HOG 특징을 추출하여 기울기 기반 무늬 패턴을 캡처.
• HOG 특징을 K=1에서 9까지의 계수로 스케일링하고 추적 특징(A+D+T)과 융합함으로써 가중치 특징 융합 적용.
• 특징 분산의 80%를 유지하면서도 차원을 감소시키기 위해 주성분 분석(PCA)을 적용.
• 게임-검색 최적화된 초모수(C 및 γ)를 가진 One-vs-One 다중 클래스 RBF-SVM 분류기로 손 동작 분류 수행.
• 모델 성능의 강건한 평가를 확보하기 위해 50번의 무작위 훈련-테스트 분할(80/20)과 10중 교차검증을 수행.

실험 결과

연구 질문

• RQ1 기존의 추적 특징에 비해 제안된 손끝 끝단 거리(T) 특징이 손 동작 인식 정확도에 어떤 영향을 미치는가?
• RQ2 추적 데이터와 융합되었을 때, 레이프 모션 센서 이미지에서 추출한 HOG 특징이 분류 성능에 얼마나 기여하는가?
• RQ3 특징 융합된 벡터에서 HOG 특징을 스케일링하기 위한 최적의 가중치 계수 K는 무엇인가?
• RQ4 PCA 기반 차원 감소 기법이 특징 공간을 단순화하면서도 높은 정확도를 유지하는 데 얼마나 효과적인가?
• RQ5 제안된 시스템이 레이프 모션으로 수집한 새로운 대규모 손 동작 데이터셋에서 최첨단 성능을 달성할 수 있는가?

주요 결과

• 손끝 끝단 거리(T) 특징은 기존 특징 세트(A+D+E)에 비해 마린 등이 제시한 원본 데이터셋과 저자들이 자체 제작한 데이터셋 양쪽에서 정확도를 1% 이상 향상시켰다.
• HOG 특징만으로도 96.15%의 정확도를 달성하여 추적 전용 특징보다 유의미하게 높은 성능를 보이며, 기울기 기반 이미지 특징의 가치를 입증했다.
• A+D+T와 5배 가중치 HOG 특징을 융합한 결과 98.08%의 정확도를 기록하여 특징 융합이 성능 향상에 상당한 기여를 한다는 것을 확인했다.
• HOG 특징의 최적 가중치 계수는 K=4 또는 K=5로 확인되었으며, 이 경우 PCA를 통한 60%의 차원 감소에도 불구하고 높은 정확도를 유지했다.
• A+D+T+5x HOG 특징 세트에 대해 분산의 80%를 유지하는 PCA를 적용한 결과, 저자들의 데이터셋에서 보고된 바 가장 높은 정확도인 99.42%를 달성했다.
• 최고 성능를 보인 모델(A+D+T+5x HOG+80% PCA)의 혼동 행렬은 최소한의 오분류를 보이며 높은 강건성과 일반화 능력을 확인했다.