[논문 리뷰] Novel Approach to Use HU Moments with Image Processing Techniques for Real Time Sign Language Communication

Matheesha Fernando, Janaka Wijayanayake|arXiv (Cornell University)|2020. 07. 20.

Hand Gesture Recognition Systems참고 문헌 10인용 수 11

한 줄 요약

이 논문은 영상 처리와 후 moments를 활용한 자세 분류 기반으로 저비용이며 실시간 수어 인식 시스템을 제시한다. 새로운 높이 대 너비 비율 필터링과 후 moments 불변량을 통합함으로써, 통제되지 않은 조명 조건과 배경 조건에서도 수어 자세를 84%의 정확도로 인식할 수 있으며, 청각 장애인과 听역 세계 간의 실질적인 소통을 가능하게 한다.

ABSTRACT

Sign language is the fundamental communication method among people who suffer from speech and hearing defects. The rest of the world doesn't have a clear idea of sign language. "Sign Language Communicator" (SLC) is designed to solve the language barrier between the sign language users and the rest of the world. The main objective of this research is to provide a low cost affordable method of sign language interpretation. This system will also be very useful to the sign language learners as they can practice the sign language. During the research available human computer interaction techniques in posture recognition was tested and evaluated. A series of image processing techniques with Hu-moment classification was identified as the best approach. To improve the accuracy of the system, a new approach height to width ratio filtration was implemented along with Hu-moments. System is able to recognize selected Sign Language signs with the accuracy of 84% without a controlled background with small light adjustments

연구 동기 및 목표

• 청각 장애인을 위한 저비용이며 실시간 수어 통신 시스템 개발.
• 수어 사용자와 听역 인구 간의 소통 격차 해소.
• 최소한의 사전 처리로 비통제 환경에서의 자세 인식 정확도 향상.
• 상호작용 기반 연습 및 피드백 메커니즘을 통한 수어 학습자 지원.
• 수어 해석에서 자세 인식을 위한 인간-컴퓨터 상호작용 기법의 평가 및 최적화.

제안 방법

• 카메라 기반 입력을 활용해 수어 자세의 실시간 영상 촬영.
• 손 모양을 분리하기 위해 임계치 설정, 노이즈 제거, 윤곽 검출 등의 영상 사전 처리 기법 적용.
• 분할된 손 영역에서 7개의 불변 후 moments를 추출하여 형태 특징 기술.
• 비자세 형태를 제거하고 분류 정확도를 향상시키기 위해 새로운 높이 대 너비 비율 필터링 도입.
• 후 moments 특징과 높이 대 너비 비율의 조합을 기반으로 자세 분류.
• 실시간 인식을 위해 사전 정의된 수어 자세 데이터셋을 기반으로 기계 학습 분류기 학습.

실험 결과

연구 질문

• RQ1 변동하는 조명 조건과 배경 조건 하에서 실시간 수어 인식에 후 moments가 손 자세 형태를 효과적으로 표현할 수 있는가?
• RQ2 높이 대 너비 비율 필터링을 후 moments와 통합함으로써 정확도가 단독 후 moments 사용 대비 얼마나 향상되는가?
• RQ3 통제되지 않은 배경이 없는 환경에서 시스템의 인식 정확도는 어느 정도 달성 가능한가?
• RQ4 시스템은 소통 및 학습 목적을 위한 실시간 상호작용을 지원할 수 있는가?
• RQ5 비용, 복잡성, 성능 측면에서 기존 자세 인식 기법과 비교해 본다면 본 방법은 어떠한가?

주요 결과

• 통제되지 않은 배경이 없는 조건에서도 특정 수어 자세에 대해 84%의 인식 정확도 달성.
• 높이 대 너비 비율 필터링을 추가함으로써 비자세 형태에 의한 오분류를 크게 줄여 분류 성능 향상.
• 실시간으로 작동하여 소통 및 학습 응용 분야에서 상호작용 가능한 사용이 가능.
• 환경 변화에 대해 경미한 조명 조정만으로도 효과를 유지함으로써 환경 변화에 대한 강건성 입증.
• 후 moments의 사용으로 이동, 회전, 스케일에 대한 불변성을 확보하여 형태 인식의 안정성 향상.
• 저비용이며 표준 컴퓨팅 하드웨어에 쉽게 구현 가능하여 접근성과 확장성 확보.