[논문 리뷰] A new approach for digit recognition based on hand gesture analysis

Ahmed Ben Jmaa, Walid Mahdi외 2명|ArXiv.org|2009. 06. 27.

Hand Gesture Recognition Systems참고 문헌 13인용 수 11

한 줄 요약

이 논문은 손가락 위치, 높이, 손가락 간 거리 특징에 중점을 두고, 손 이미지 분석을 이용한 새로운 手동작 기반 숫자 인식 시스템을 제안한다. 퍼지 피부 검출, 손가락 추출을 위한 해부학적 제약 조건, 그리고 인덕션 그래프를 통한 히스토그램 기반 특징 표현을 조합함으로써, 실험에서 척도, 회전, 이동에 대한 불변성을 확보하고 높은 정확도의 인식 성능을 달성한다.

ABSTRACT

We present in this paper a new approach for hand gesture analysis that allows digit recognition. The analysis is based on extracting a set of features from a hand image and then combining them by using an induction graph. The most important features we extract from each image are the fingers locations, their heights and the distance between each pair of fingers. Our approach consists of three steps: (i) Hand detection and localization, (ii) fingers extraction and (iii) features identification and combination to digit recognition. Each input image is assumed to contain only one person, thus we apply a fuzzy classifier to identify the skin pixels. In the finger extraction step, we attempt to remove all the hand components except the fingers, this process is based on the hand anatomy properties. The final step consists on representing histogram of the detected fingers in order to extract features that will be used for digit recognition. The approach is invariant to scale, rotation and translation of the hand. Some experiments have been undertaken to show the effectiveness of the proposed approach.

연구 동기 및 목표

• 손가락 분석을 통한 강력한 숫자 인식 방법을 개발하기 위해.
• 척도, 회전, 이동 변화와 같은 수동 동작 인식의 과제를 해결하기 위해.
• 손 이미지에서 의미 있는 기하학적 특징을 추출하여 정확한 숫자 분류를 위해.
• 다양한 특징(손가락 위치, 높이, 거리)을 인덕션 그래프를 통해 통합하여 인식 성능을 향상시키기 위해.
• 기하학적 특징의 정규화와 히스토그램 표현을 통해 손 자세 변화에 대한 불변성을 확보하기 위해.

제안 방법

• 입력 이미지의 피부 픽셀을 국소화하기 위해 퍼지 분류기를 사용하여 손을 탐지한다.
• 손 해부학 기반 제약 조건이 개별 손가락 추출을 안내하여 비손가락 성분을 제거한다.
• 세그멘테이션된 손가락에서 손가락 위치, 높이, 쌍별 거리와 같은 핵심 특징을 추출한다.
• 검출된 손가락의 히스토그램을 구성하여 공간적 및 기하학적 패턴을 표현한다.
• 인덕션 그래프가 추출된 특징을 통합하여 숫자 인식을 지원한다.
• 기하학적 특징의 정규화를 통해 척도, 회전, 이동에 대한 불변성을 확보하도록 설계된다.

실험 결과

연구 질문

• RQ1 손가락 위치, 높이, 거리와 같은 기하학적 손 특징의 조합이 정확한 숫자 인식을 가능하게 할 수 있는가?
• RQ2 손 이미지 전처리에서 퍼지 분류기의 피부 검출 사용이 얼마나 효과적인가?
• RQ3 단독 특징 집합에 비해 인덕션 그래프가 인식 성능 향상에 얼마나 기여하는가?
• RQ4 손의 척도, 회전, 이동 변화가 있는 상황에서도 시스템이 정확도를 유지할 수 있는가?
• RQ5 히스토그램 기반 특징 표현이 숫자 인식의 강건성에 어떻게 기여하는가?

주요 결과

• 제안된 방법은 효과적인 특징 추출과 조합 덕분에 높은 정확도의 숫자 인식을 달성한다.
• 퍼지 피부 검출의 사용이 복잡한 배경에서 손 국소화를 향상시킨다.
• 해부학적 제약 조건은 손 이미지에서 손가락 추출의 정밀도를 크게 향상시킨다.
• 인덕션 그래프는 다수의 기하학적 특징을 효과적으로 통합하여 분류 성능을 향상시킨다.
• 시스템은 척도, 회전, 이동에 대한 불변성을 보이며, 실제 응용에서의 강건성을 향상시킨다.
• 실험 결과는 접근 방식의 효과성을 확인하였으며, 저널 게재에서 뛰어난 성능이 보고되었다.