[논문 리뷰] MagicEye: An Intelligent Wearable Towards Independent Living of Visually Impaired

Sibi Chakkaravarthy Sethuraman, Gaurav R. Tadkapally외 3명|arXiv (Cornell University)|2023. 03. 24.

Tactile and Sensory Interactions인용 수 5

한 줄 요약

MagicEye는 시각 장애인 사용자를 위한 실시간 물체, 얼굴 및 화폐 인식을 가능하게 하는 스마트 웨어러블 기기로, GPS와 근접 센서를 통합하여 주행 및 장애물 탐지 기능을 제공한다. 화폐 인식 정확도는 99.75%이며, 얼굴 인식 정확도는 94.5%를 기록하여 독립적인 생활을 향상시키는 종합적인 실시간 청각 피드백 시스템을 제공한다.

ABSTRACT

Individuals with visual impairments often face a multitude of challenging obstacles in their daily lives. Vision impairment can severely impair a person's ability to work, navigate, and retain independence. This can result in educational limits, a higher risk of accidents, and a plethora of other issues. To address these challenges, we present MagicEye, a state-of-the-art intelligent wearable device designed to assist visually impaired individuals. MagicEye employs a custom-trained CNN-based object detection model, capable of recognizing a wide range of indoor and outdoor objects frequently encountered in daily life. With a total of 35 classes, the neural network employed by MagicEye has been specifically designed to achieve high levels of efficiency and precision in object detection. The device is also equipped with facial recognition and currency identification modules, providing invaluable assistance to the visually impaired. In addition, MagicEye features a GPS sensor for navigation, allowing users to move about with ease, as well as a proximity sensor for detecting nearby objects without physical contact. In summary, MagicEye is an innovative and highly advanced wearable device that has been designed to address the many challenges faced by individuals with visual impairments. It is equipped with state-of-the-art object detection and navigation capabilities that are tailored to the needs of the visually impaired, making it one of the most promising solutions to assist those who are struggling with visual impairments.

연구 동기 및 목표

• 시각 장애인이 일상 생활에서 겪는 도전 과제인 주행, 물체 인식, 사회적 상호작용 문제를 해결하기 위해.
• 환경 인식을 위한 청각 피드백을 제공하는 실시간 웨어러블 보조 기기를 개발하기 위해.
• 이동 지팡이, 안내 개, 스마트폰 앱과 같은 기존 솔루션을 넘어 심층 학습과 다중 센서 융합을 통합하여 향상된 성능을 제공하기 위해.
• 경량화된 프리트레인드 백본 기반 YOLOv5 모델을 사용하여 35개의 물체 클래스, 화폐, 얼굴을 고정밀도로 인식하기 위해.
• 통합된 GPS 내비게이션과 비접촉식 근접 감지 기능을 통해 사용자의 자립도를 향상시키기 위해.

제안 방법

• 계산 부담을 줄이고 추론 속도를 향상시키기 위해 프리트레인드 특징 백본을 사용한 커스터마이즈된 YOLOv5 기반의 합성곱 신경망(CNN).
• 다양한 센서 통합: 방향 안내를 위한 GPS, 장애물 탐지를 위한 근접 센서, 시각 입력을 위한 카메라.
• 골격 전도 기술을 활용한 청각 피드백을 통해 실시간으로 물체, 얼굴, 화폐 식별 결과를 전달.
• 35개의 일상 생활 물체 클래스에 대한 커스텀 데이터셋으로 모델 미세조정을 수행하고, 정밀도, 재현율, F1-스코어 지표를 사용해 평가.
• 미래의 모델 적응 및 새로운 물체 카테고리 확장을 위한 액티브 러닝 구현.
• 정확도를 유지하면서 추론 비용을 낮추기 위해 전이 학습 및 모델 정제 기법 적용.

실험 결과

연구 질문

• RQ1 YOLOv5 기반의 경량 실시간 물체 검출 모델이 시각 장애인을 위한 실내외 공통 35개 물체를 효과적으로 인식할 수 있는가?
• RQ2 시스템은 실제 환경 조건에서 얼굴과 화폐 단위를 얼마나 정확하게 탐지하고 식별할 수 있는가?
• RQ3 GPS와 근접 감지 기능을 통합함으로써 시각 장애인의 주행 및 장애물 회피 능력이 얼마나 향상되는가?
• RQ4 정확도와 효율성 측면에서 프리트레인드 백본 YOLOv5 모델은 완전히 미세조정된 YOLOv5 및 기본 YOLO 버전과 비교해 어떤가?
• RQ5 골격 전도 기술을 통한 청각 피드백은 사용자의 청각 환경을 차단하지 않으면서도 상황 인식 능력을 향상시킬 수 있는가?

주요 결과

• MagicEye 시스템은 테스트 데이터셋에서 화폐 인식 정확도 99.75%와 F1-스코어 99.86%를 기록했다.
• 얼굴 인식은 정확도 94.5%와 F1-스코어 94.21%를 기록했으며, 재현율 89.60%로 LFW 벤치마크에서 뛰어난 성능을 보였다.
• 모델의 정밀도와 재현율은 25개의 학습 에포크 동안 안정적으로 향상되었고, 손실 값은 감소하며 성능 수렴을 보였다.
• 혼동 행렬을 통해 모든 35개의 물체 클래스에 대해 높은 분류 정확도를 확인했으며, 최소한의 오분류가 발생했다.
• YOLOv3와 완전히 언프리징된 YOLOv5보다도 동일한 벤치마크에서 추론 효율성과 정확도 측면에서 뛰어난 성능을 보였다.
• 프리트레인드 백본의 사용으로 모델 크기와 계산 비용이 감소하여 엣지 디바이스에서 실시간 추론이 가능해졌다.