[논문 리뷰] ABHIVYAKTI: A Vision Based Intelligent System for Elder and Sick Persons

Ankit Chaudhary, Jagdish Lal Raheja|arXiv (Cornell University)|2011. 09. 29.

Hand Gesture Recognition Systems참고 문헌 26인용 수 13

한 줄 요약

ABHIVYAKTI는 비언어적 의사소통이 어려운 노인 및 환자들이 손짓을 통해 자신의 필요를 알릴 수 있도록 돕는 시각 기반 지능형 시스템이다. 이 시스템은 손끝 검출과 인공 신경망(ANN)을 사용하여 손짓을 인식함으로써, 사용자가 최소한의 신체적 노력으로 간호사에게 원격으로 알림을 보낼 수 있도록 한다. 이는 가정 환경에서 지속적인 모니터링을 위한 저비용이고 구현 가능한 솔루션을 제공한다.

ABSTRACT

This paper describes an intelligent system ABHIVYAKTI, which would be pervasive in nature and based on the Computer Vision. It would be very easy in use and deployment. Elder and sick people who are not able to talk or walk, they are dependent on other human beings and need continuous monitoring, while our system provides flexibility to the sick or elder person to announce his or her need to their caretaker by just showing a particular gesture with the developed system, if the caretaker is not nearby. This system will use fingertip detection techniques for acquiring gesture and Artificial Neural Networks (ANNs) will be used for gesture recognition.

연구 동기 및 목표

• 노인 및 비언어적 의사소통이 어려운 환자들을 위한 저비용이고 광범위하게 적용 가능한 시각 기반 지속 모니터링 시스템을 개발하기 위해.
• 환자가 간단한 손짓을 통해 독립적으로 필요를 알릴 수 있도록 간호사에 대한 의존도를 줄이기 위해.
• 컴퓨터 비전을 활용한 자동 실시간 손짓 인식을 통해 간호사의 부담을 줄이기 위해.
• 운영 및 설정에 최소한의 기술 전문 지식이 요구되는 사용자 친화적이고 구현 가능한 솔루션을 만들기 위해.

제안 방법

• 실시간 영상 입력에서 손짓 특징을 추출하기 위해 손끝 검출 기법을 사용한다.
• 시스템은 영상 프레임을 처리하여 손끝을 고립하고 추적한다.
• 인공 신경망(ANN)은 다양한 손짓을 사전 정의된 신호로 분류하도록 훈련된다.
• 캡처된 영상 스트림에서 훈련된 ANN 모델을 사용해 실시간으로 손짓을 인식한다.
• 최소한의 하드웨어 요구 사항으로 가정 환경에 배포 가능한 시스템으로 설계된다.
• 특정 손짓이 인식되면 피드백 메커니즘이 작동하여 간호사에게 도움이 필요함을 알린다.

실험 결과

연구 질문

• RQ1 어떻게 시각 기반 시스템이 비언어적 의사소통이 어려운 노인이나 환자들이 언어적 의사소통 없이 자신의 필요를 알릴 수 있도록 할 수 있는가?
• RQ2 저자원 환경에서 손짓 입력을 위한 손끝 위치를 신뢰성 있게 검출할 수 있는 컴퓨터 비전 기법은 무엇인가?
• RQ3 인공 신경망이 보조 응용 분야에서 정확하고 실시간으로 손짓을 인식할 수 있는가?
• RQ4 어떻게 이러한 시스템을 실용적이고 저비용이며 가정 의료 환경에서 구현 가능한 형태로 만들 수 있는가?

주요 결과

• 컴퓨터 비전 기법을 사용해 실시간 영상에서 손끝 위치를 성공적으로 검출하여, 전용 하드웨어 없이도 손짓 입력이 가능하다.
• 인공 신경망은 사전 정의된 손짓을 효과적으로 분류하여 실시간 인식의 가능성에 대한 타당성을 입증한다.
• 이 시스템은 사용자가 간단한 손짓을 통해 간호사를 신고함으로써 지속적인 인간 감시에 대한 의존도를 낮춘다.
• 최소한의 컴퓨팅 자원으로도 가정 환경에서 구현 가능하여 저비용 구현을 지원한다.
• 시스템 설계는 사용 용이성과 확장성을 중시하여, 노인 및 환자 간호 분야에서 널리 보급하기에 적합하다.
• 프로토타입는 IEEE ICMV 2010에서 검증되어 기술적 타당성과 실용적 관련성을 확인했다.