[논문 리뷰] Robust Sign Language Recognition System Using ToF Depth Cameras

Morteza Zahedi, Ali Reza Manashty|arXiv (Cornell University)|2011. 05. 03.

Hand Gesture Recognition Systems참고 문헌 10인용 수 11

한 줄 요약

이 논문은 실시간 3차원 손짓을 정확하게 캡처하기 위해 시간 간격 기반(ToF) 깊이 카메라를 사용하여 견고한 수어 인식 시스템을 제시한다. 이 시스템은 순간 기반 특징 추출과 최근접 이웃 분류기를 활용하여 수어 손짓의 인식 정확도를 100%로 달성하였으며, 실시간 3차원 애니메이션 렲영을 위해 이들을 이식 가능한 SiGML 형식으로 변환한다.

ABSTRACT

Sign language recognition is a difficult task, yet required for many applications in real-time speed. Using RGB cameras for recognition of sign languages is not very successful in practical situations and accurate 3D imaging requires expensive and complex instruments. With introduction of Time-of-Flight (ToF) depth cameras in recent years, it has become easier to scan the environment for accurate, yet fast depth images of the objects without the need of any extra calibrating object. In this paper, a robust system for sign language recognition using ToF depth cameras is presented for converting the recorded signs to a standard and portable XML sign language named SiGML for easy transferring and converting to real-time 3D virtual characters animations. Feature extraction using moments and classification using nearest neighbor classifier are used to track hand gestures and significant result of 100% is achieved for the proposed approach.

연구 동기 및 목표

• RGB 기반 방법의 한계를 극복하고 실시간으로 작동하며 견고한 수어 인식 시스템을 개발하기 위해.
• 복잡한 校정 절차 없이 정확하고 빠른 3차원 영상 촬영을 위해 ToF 깊이 카메라를 활용하기 위해.
• 인식된 손짓을 효율적인 전송과 3차원 애니메이션을 위해 이식 가능한 SiGML 형식으로 변환하기 위해.
• 저비용으로 접근 가능한 깊이 감지 기술을 사용하여 높은 인식 정확도를 달성하기 위해.
• 실제 응용 분야에서 실용적으로 수어 인식 기술을 구현할 수 있도록 하기 위해.

제안 방법

• 실시간 3차원 데이터 확보를 위해 시간 간격 기반(ToF) 깊이 카메라를 사용하여 손짓의 깊이 영상을 캡처하기 위해.
• 손의 형태와 자세를 표현하기 위해 깊이 영상에서 기하학적 순간을 사용하여 특징을 추출하기 위해.
• 추출된 순간 특징을 바탕으로 최근접 이웃 분류기를 사용하여 손짓을 분류하기 위해.
• 인식된 손짓을 표준화되고 이식 가능한 SiGML(수어 표기 언어 언어) 형식으로 매핑하기 위해.
• SiGML 형식을 사용하여 수어 애니메이션을 위한 실시간 3차원 가상 캐릭터 렌더링을 가능하게 하기 위해.
• ToF 카메라의 내재된 깊이 감지 능력을 활용하여 복잡한 校정 절차를 피하기 위해.

실험 결과

연구 질문

• RQ1 ToF 깊이 카메라는 실시간 수어 인식에 충분한 정확도와 속도를 제공할 수 있는가?
• RQ2 순간 기반 특징은 깊이 데이터 내 3차원 손짓을 효과적으로 표현할 수 있는가?
• RQ3 최근접 이웃 분류기는 깊이 영상에서 수어 손짓을 높은 정확도로 분류할 수 있는가?
• RQ4 SiGML 형식은 인식된 손짓을 3차원 애니메이션을 위해 인코딩하고 전송하는 데 적합한가?
• RQ5 추가적인 校정 없이도 시스템이 실제 실생활 조건에서 견고하게 작동할 수 있는가?

주요 결과

• 순간 기반 특징 추출과 최근접 이웃 분류 기법을 사용하여 시스템은 100%의 인식 정확도를 달성하였다.
• ToF 깊이 카메라는 외부 校정 물체가 필요 없이 정확한 3차원 깊이 영상 촬영을 가능하게 하였다.
• SiGML의 사용은 인식된 손짓을 표준화되고 이식 가능한 방식으로 3차원 애니메이션을 위해 인코딩하는 데 기여하였다.
• 저비용의 깊이 감지 하드웨어를 사용하여 실시간 수어 인식에서 견고한 성능을 보였다.
• 순간 기반 특징은 깊이 데이터로부터 손짓의 공간적 특성을 효과적으로 캡처하였다.
• ToF 카메라와 SiGML의 통합은 실시간 가상 캐릭터 애니메이션을 위한 실용적인 구현을 가능하게 하였다.