[논문 리뷰] Real-Time Pill Identification for the Visually Impaired Using Deep Learning

Bo Dang, Wenchao Zhao외 4명|arXiv (Cornell University)|2024. 05. 08.

Tactile and Sensory InteractionsNeuroscience인용 수 3

한 줄 요약

이 논문은 실시간 모바일 애플리케이션을 제안하며, YOLO 객체 검출 프레임워크를 사용하여 시각 장애인 및 시력이 떨어진 사용자가 스마트폰 카메라를 통해 약물을 정확하게 식별할 수 있도록 한다. 텍스트 음성 변환(TTS)과 통합되어 즉각적인 청각 피드백을 제공하며, 높은 검출 정확도를 달성하여 일상 사용에서 약물 안전성과 자율성을 향상시킨다.

ABSTRACT

The prevalence of mobile technology offers unique opportunities for addressing healthcare challenges, especially for individuals with visual impairments. This paper explores the development and implementation of a deep learning-based mobile application designed to assist blind and visually impaired individuals in real-time pill identification. Utilizing the YOLO framework, the application aims to accurately recognize and differentiate between various pill types through real-time image processing on mobile devices. The system incorporates Text-to- Speech (TTS) to provide immediate auditory feedback, enhancing usability and independence for visually impaired users. Our study evaluates the application's effectiveness in terms of detection accuracy and user experience, highlighting its potential to improve medication management and safety among the visually impaired community. Keywords-Deep Learning; YOLO Framework; Mobile Application; Visual Impairment; Pill Identification; Healthcare

연구 동기 및 목표

• 시각 장애인이 타인의 도움 없이 약물 확인을 해야 하는 데서 비롯하는 높은 위험도를 감안해, 약물 오식별 문제를 해결하기 위함.
• 모바일 비전과 딥러닝을 활용한 실시간, 온디바이스 솔루션을 개발하여 독립적인 약물 식별을 가능하게 하기 위함.
• 즉각적인 청각 피드백을 제공하기 위해 텍스트 음성 변환(TTS)을 통합하여 사용성과 접근성 향상시키기 위함.
• 시각 장애인 사용자 대상으로 실시간 성능 및 실생활 사용성 측면에서 시스템 성능 평가하기 위함.
• 경량화되고 정확한 객체 검출 모델을 모바일 기기에서 구동할 수 있는지의 실현 가능성을 입증하기 위함.

제안 방법

• 시스템은 실시간 추론을 위해 모바일 기기에서 작동하는 YOLO(You Only Look Once) 객체 검출 프레임워크를 활용한다.
• 다중 클래스 약물 식별을 위해 YOLO 모델을 훈련시키기 위해 자체 수집 및 주석 처리한 약물 이미지 데이터셋을 구축하였다.
• 실시간 추론 속도 확보를 위해 모델 정량화 및 정제 기법을 사용해 모바일 배포를 최적화하였다.
• 실시간 이미지 처리는 스마트폰 내부에서 직접 수행되어 클라우드 전송 없이도 사용자 개인정보를 보호한다.
• 검출된 약물 이름을 음성으로 변환하기 위해 텍스트 음성 변환(TTS)을 통합하여 즉각적인 청각 출력을 제공한다.
• 애플리케이션은 온디바이스 추론을 기반으로 모바일 플랫폼에서 작동하여 낮은 지연 시간과 오프라인 기능을 보장한다.

실험 결과

연구 질문

• RQ1 YOLO 기반 딥러닝 모델이 소비자용 모바일 기기에서 실시간으로 높은 정확도로 약물 검출을 수행할 수 있는가?
• RQ2 텍스트 음성 변환(TTS) 통합이 시각 장애인 사용자의 사용성과 자율성 향상에 얼마나 효과적인가?
• RQ3 실생활 환경에서 시스템의 검출 속도, 정확도 및 사용자 경험은 어떠한가?
• RQ4 온디바이스 추론이 클라우드 의존 없이 개인정보 보호와 신뢰성 확보에 얼마나 기여하는가?
• RQ5 기존 솔루션과 비교해 시스템의 속도, 정확도 및 시각 장애인 대상 접근성 측면에서 어떤 차이가 있는가?

주요 결과

• YOLO 기반 모델은 자체 구축한 약물 데이터셋에서 높은 검출 정확도를 달성하여 실시간으로 여러 종류의 약물을 신뢰성 있게 식별할 수 있었다.
• 낮은 지연 시간으로 실시간 추론이 가능하여 일반 소비자용 모바일 기기에서도 현장에서의 사용에 적합하였다.
• 텍스트 음성 변환(TTS) 통합으로 즉각적인 청각 피드백이 제공되어 사용자 경험과 자율성 향상에 크게 기여하였다.
• 온디바이스 처리로 데이터 프라이버시와 신뢰성이 확보되어 인터넷 연결 의존도가 제거되었다.
• 사용자 테스트 결과, 애플리케이션이 실생활 상황에서 시각 장애인의 약물 관리에 효과적으로 기여하는 것으로 확인되었다.
• 모델 성능은 다양한 조명 및 배경 조건에서도 우수하여 실질적인 배포 가능성에 유리함을 보였다.