[논문 리뷰] Design of a Mobile Face Recognition System for Visually Impaired Persons

Shonal Chaudhry, Rohitash Chandra|arXiv (Cornell University)|2015. 02. 03.

Tactile and Sensory Interactions참고 문헌 57인용 수 21

한 줄 요약

이 논문은 시각 장애인 사용자를 위한 모바일 얼굴 인식 시스템을 제시한다. 안드로이드 기반 컴퓨터 비전과 OpenCV를 활용해 얼굴 검출 및 인식을 수행하고, 음성 피드백을 제공하기 위해 Google TalkBack과 통합한다. 잘 조명된 조건에서 시스템은 얼굴 검출 정확도 93%와 인식 정확도 70%를 달성했으며, 사용자 등록 및 신원 관리를 지원하기 위해 클라이언트-서버 아키텍처를 사용하고, 일시적인 이미지 처리와 암호화된 저장을 통해 개인정보 보호를 우선시한다.

ABSTRACT

It is estimated that 285 million people globally are visually impaired. A majority of these people live in developing countries and are among the elderly population. One of the most difficult tasks faced by the visually impaired is identification of people. While naturally, voice recognition is a common method of identification, it is an intuitive and difficult process. The rise of computation capability of mobile devices gives motivation to develop applications that can assist visually impaired persons. With the availability of mobile devices, these people can be assisted by an additional method of identification through intelligent software based on computer vision techniques. In this paper, we present the design and implementation of a face detection and recognition system for the visually impaired through the use of mobile computing. This mobile system is assisted by a server-based support system. The system was tested on a custom video database. Experiment results show high face detection accuracy and promising face recognition accuracy in suitable conditions. The challenges of the system lie in better recognition techniques for difficult situations in terms of lighting and weather.

연구 동기 및 목표

• 시각 장애인들이 종종 신뢰할 수 없거나 인지 부담이 큰 방법(예: 음성 인식)에 의존하는 사회적 신원 확인 문제를 해결하기 위해.
• 컴퓨터 비전을 활용해 실시간 얼굴 검출 및 인식을 지원하는 이동식, 모바일 기반 솔루션을 개발하기 위해.
• 안드로이드의 TalkBack 스크린 리더와의 통합을 통해 시각 장애인 사용자에게 접근성과 사용 용이성을 보장하기 위해.
• 일시적인 이미지 처리와 신원 데이터의 암호화를 통해 개인정보 보호 및 보안을 유지하기 위해.
• 실세계 영상 데이터에서 정확도, 메모리 사용량, 계산 효율성 측면에서 시스템 성능을 평가하기 위해.

제안 방법

• 시스템은 모바일 기기의 카메라를 사용해 얼굴의 실시간 영상 획득을 수행한다.
• 얼굴 검출은 OpenCV의 C++ 모듈에 구현된 캐스케이드 분류기를 사용하며, 자체 구축한 데이터셋으로 훈련된다.
• 인식을 위해 검출된 얼굴의 일시적인 이미지가 캡처되고, 서버 기반의 인식 파이프라인을 통해 처리된다.
• 사용자에게 음성 피드백을 제공하기 위해 Google TalkBack이 통합되어 있어, 손을 쓰지 않고도 상호작용이 가능하다.
• 사용자 등록 및 신원 조회를 지원하기 위해 서버 기반 컴ponent가 구현되어 있으며, 기기 내 계산 부담을 줄인다.
• 얼굴 이미지는 일시적으로 저장되어 처리 후 삭제되며, 신원 정보는 암호화되어 개인정보 보호를 보장한다.

실험 결과

연구 질문

• RQ1 실세계 조명 조건에서 시각 장애인 사용자를 위한 모바일 기반 얼굴 인식 시스템이 수용 가능한 정확도를 달성할 수 있는가?
• RQ2 OpenCV 기반 얼굴 검출 및 인식과 안드로이드의 TalkBack 통합이 접근성에 얼마나 효과적인가?
• RQ3 기기 내 컴퓨터 비전 처리에 있어 메모리, 데이터 사용량, 배터리 소모 측면에서의 성능 트레이드오프는 어떠한가?
• RQ4 모바일 기기에서 생체 정보인 얼굴 데이터를 저장하고 처리할 때 개인정보 보호와 데이터 보안을 어떻게 유지할 수 있는가?
• RQ5 조도가 시스템의 검출 및 인식 정확도에 얼마나 영향을 미치는가?

주요 결과

• 잘 조명된 조건에서 시스템은 얼굴 검출 정확도 93%를 달성하여 통제된 환경에서 뛰어난 성능을 보였다.
• 잘 조명된 조건에서 얼굴 인식 정확도는 70%에 도달하여 실세계 적용에 있어 중간 정도이지만 유망한 결과를 보였다.
• 메모리 사용량은 낮았으며, 기기 내 테스트 및 모니터링를 통해 최소한의 시스템 자원을 소비하는 것으로 확인되었다.
• 데이터 사용량 또한 낮아, 모바일 네트워크 환경에 적합한 효율적인 대역폭 소비를 보였다.
• 불량한 조명 조건에서 시스템 성능이 크게 떨어져, 검출 정확도의 강건성에 대한 핵심적 한계를 드러냈다.
• 일시적인 이미지 저장 및 암호화된 신원 관리의 사용이 사용자 개인정보 보호를 효과적으로 보장하고 장기적인 데이터 노출을 줄였다.