[논문 리뷰] Static Gesture Recognition using Leap Motion

Babak Toghiani-Rizi, Christofer Lind외 2명|arXiv (Cornell University)|2017. 05. 16.

Hand Gesture Recognition Systems참고 문헌 5인용 수 3

한 줄 요약

이 논문은 수동으로 음료와 음식을 주문하기 위한 수동 바텐더 인터페이스를 구현하기 위해 레이프 모션 센서와 기계학습을 활용한 정적 제스처 인식 시스템을 제시한다. 손끝에서 손바닥 중심까지의 거리로부터 유도된 정규화된 10차원 특징 벡터를 기반으로 k-최근접 이웃 분류기를 사용하여 여덟 가지 다른 제스처를 분류하는 데 평균 95%의 정확도를 달성하였다. 이는 윤리적 제약이 존재하더라도 인간 바텐더와의 보조 도구로서의 가능성을 입증한다.

ABSTRACT

In this report, an automated bartender system was developed for making orders in a bar using hand gestures. The gesture recognition of the system was developed using Machine Learning techniques, where the model was trained to classify gestures using collected data. The final model used in the system reached an average accuracy of 95%. The system raised ethical concerns both in terms of user interaction and having such a system in a real world scenario, but it could initially work as a complement to a real bartender.

연구 동기 및 목표

• 소음이 심한 환경에서의 커뮤니케이션 개선을 위해 바에서 사용할 수 있는 제스처 기반 주문 시스템을 개발하기 위해.
• 실생활 응용에서 정확한 정적 손 제스처 인식을 위해 레이프 모션을 사용할 수 있는지의 가능성을 탐색하기 위해.
• 사용자 맞춤 설정 최소화로 손 제스처를 분류하기 위한 기계학습 모델을 평가하기 위해.
• 공공 서비스 환경에 자동 제스처 기반 시스템을 구현할 때의 실용적 및 윤리적 과제를 다루기 위해.

제안 방법

• 약 20명의 참가자 각각이 여덟 가지의 고유한 제스처를 세 번씩 수행하여 총 528개의 제스처 샘플을 수집하였다.
• 각 손가락 끝에서 해당 손바닥 중심까지의 유클리드 거리를 사용해 10차원 특징 벡터를 추출하였다.
• 각 손의 5개 손가락 거리를 [0,1] 범위로 정규화하여 손 크기의 영향을 제거하고 척도 불변성을 확보하였다.
• 시각화 및 분석을 위해 주성분 분석(PCA)을 사용해 특징 차원을 감소시켰다.
• TensorFlow에서 k-최근접 이웃(k=2), 다층 퍼셉트론(MLP), 다항 로지스틱 회귀(MLR)의 세 모델을 훈련하고 비교하였다.
• 사용자 상호작용과 접근성을 향상시키기 위해 실시간 피드백으로 시각적 및 청각적 신호를 구현하였다.

실험 결과

연구 질문

• RQ1 레이프 모션은 실시간 바텐더 인터페이스를 위한 정적 손 제스처를 정확하게 캡처하고 분류할 수 있는가?
• RQ2 작은 실생활 제스처 데이터셋에서 k-최근접 이웃의 성능은 신경망 모델(MLP 및 MLR)과 비교해 어떻게 되는가?
• RQ3 상대적 손가락 거리의 정규화가 다양한 손 크기 간의 인식 강건성에 얼마나 기여하는가?
• RQ4 공공 환경에 자동 제스처 기반 바텐더 시스템을 구현할 때의 주요 윤리적 과제는 무엇인가?
• RQ5 의사결정 능력과 포용성에 한계가 있음에도 불구하고, 시스템은 인간 바텐더와의 보조 도구로서 실질적으로 유용한가?

주요 결과

• k-최근접 이웃 모델이 주어진 데이터셋에서 95%의 최고 정확도를 기록하여 MLP 및 MLR 모델을 모두 앞섰다.
• 각 손의 고유한 범위에 기반한 손가락 거리 정규화가 다양한 손 크기 간의 모델 강건성 향상에 크게 기여하였다.
• PCA 시각화 결과 제스처 클래스 간 부분적인 군집이 관찰되었으며, Init 및 Food 제스처는 상당한 겹침을 보여 이에 따른 오분류 가능성이 있음을 시사하였다.
• 시스템은 실시간 제스처 인식에서 뛰어난 성능을 보였으며, 통제된 바 환경에서의 실용적 활용 가능성을 입증하였다.
• 높은 정확도에도 불구하고 시스템은 사용자에게 10개의 기능성 손가락이 없는 경우 배제되며, 알코올 판매 의사결정 능력이 부족하다는 점에서 심각한 윤리적 우려를 제기하였다.
• 오픈소스 구현체는 GitHub에 공개되어 있어 연구의 복제 및 확장이 가능하다.