[論文レビュー] Real-Time Pill Identification for the Visually Impaired Using Deep Learning

Bo Dang, Wenchao Zhao+4 more|arXiv (Cornell University)|May 8, 2024

Tactile and Sensory InteractionsNeuroscience被引用数 3

ひとこと要約

本論文では、スマートフォンのカメラを用いて視覚障害者や視覚に障害のあるユーザーが薬を正確に特定できるようにする、リアルタイムのモバイルアプリケーションを提示している。Text-to-Speech（TTS）と統合された本システムは、即時の音声フィードバックを提供し、高い検出精度を達成しており、日常的な使用における薬の安全性と自立性を向上させている。

ABSTRACT

The prevalence of mobile technology offers unique opportunities for addressing healthcare challenges, especially for individuals with visual impairments. This paper explores the development and implementation of a deep learning-based mobile application designed to assist blind and visually impaired individuals in real-time pill identification. Utilizing the YOLO framework, the application aims to accurately recognize and differentiate between various pill types through real-time image processing on mobile devices. The system incorporates Text-to- Speech (TTS) to provide immediate auditory feedback, enhancing usability and independence for visually impaired users. Our study evaluates the application's effectiveness in terms of detection accuracy and user experience, highlighting its potential to improve medication management and safety among the visually impaired community. Keywords-Deep Learning; YOLO Framework; Mobile Application; Visual Impairment; Pill Identification; Healthcare

研究の動機と目的

• 視覚に障害のある人々が他人に頼って錠剤を確認する必要がある中で、薬の誤認の深刻なリスクに直面しているという、重要な課題に対処すること。
• モバイルビジョンと深層学習を活用した、リアルタイムでデバイス内に実装された解決策を開発し、自立的な錠剤特定を可能にすること。
• 即時の音声フィードバックを提供するために、Text-to-Speech（TTS）を統合し、使いやすさとアクセシビリティを向上させること。
• 視覚に障害のあるユーザーに対する実世界での使用性を評価する観点から、検出精度とシステムのパフォーマンスを評価すること。
• 軽量で正確なオブジェクト検出モデルをモバイルデバイスにデプロイするという、医療分野への応用の可能性を示すこと。

提案手法

• 本システムは、モバイルデバイス上でリアルタイム推論を実行するためのYOLO（You Only Look Once）オブジェクト検出フレームワークを採用している。
• YOLOモデルのマルチクラス錠剤認識のための、独自の錠剤画像データセットを収集・アノテーションした。
• リアルタイム推論速度を確保するため、モデルの量子化とプルーニングを用いてモバイルデプロイ用に最適化した。
• リアルタイムの画像処理はスマートフォン上で直接実行され、クラウドへの送信を回避することで、ユーザーのプライバシーを保護している。
• 検出された錠剤名を音声出力に変換するため、Text-to-Speech（TTS）が統合されており、即時の音声フィードバックを可能にしている。
• アプリケーションはモバイルプラットフォーム上で動作し、デバイス内での推論を実行することで、低遅延とオフライン動作を実現している。

実験結果

リサーチクエスチョン

• RQ1 YOLOベースの深層学習モデルは、消費者向けのモバイルデバイス上でリアルタイムに高い精度で錠剤を検出できるか？
• RQ2 Text-to-Speech（TTS）の統合は、視覚に障害のあるユーザーの使いやすさと自立性をどの程度向上させるか？
• RQ3 実世界でのシステムのパフォーマンスは、検出速度、正確性、ユーザーエクスペリエンスの観点からどの程度か？
• RQ4 クラウド依存なしに、デバイス内での推論がどの程度、プライバシーと信頼性を確保できるか？
• RQ5 視覚に障害のあるユーザーに対するスピード、正確性、アクセシビリティの観点から、既存のソリューションと比較して本システムはどの程度優れているか？

主な発見

• YOLOベースのモデルは、独自の錠剤データセットで高い検出精度を達成し、リアルタイムで複数の錠剤タイプを信頼性を持って特定できた。
• 低遅延のリアルタイム推論が実現され、一般消費者向けのモバイルデバイスでも移動中や即時の使用に適していた。
• Text-to-Speech（TTS）の統合により、即時の音声フィードバックが得られ、ユーザーエクスペリエンスと自立性が顕著に向上した。
• デバイス内での処理により、データのプライバシーと信頼性が確保され、インターネット接続への依存が排除された。
• ユーザーテストの結果、本アプリケーションは実世界の状況において、視覚に障害のある人々の薬の管理を効果的に支援することがわかった。
• モデルの性能は、多様な照明条件や背景条件下でも安定しており、実用的なデプロイの可能性が示された。