[論文レビュー] MagicEye: An Intelligent Wearable Towards Independent Living of Visually Impaired

Sibi Chakkaravarthy Sethuraman, Gaurav R. Tadkapally+3 more|arXiv (Cornell University)|Mar 24, 2023

Tactile and Sensory Interactions被引用数 5

ひとこと要約

MagicEye は、視覚障害者が日常のナビゲーション、物体認識、社会的相互作用において直面する課題に対処するための知能型ウェアラブルデバイスであり、カスタムトレーニングされた YOLOv5 をベースにした CNN を使用して、リアルタイムでの物体・顔・通貨認識を実現する。GPS と近接センサーを統合することでナビゲーションと障害物検出を可能にし、通貨認識で 99.75%、顔認識で 94.5% の正確性を達成。独立した生活を支援する包括的でリアルタイムの聴覚フィードバックシステムを提供する。

ABSTRACT

Individuals with visual impairments often face a multitude of challenging obstacles in their daily lives. Vision impairment can severely impair a person's ability to work, navigate, and retain independence. This can result in educational limits, a higher risk of accidents, and a plethora of other issues. To address these challenges, we present MagicEye, a state-of-the-art intelligent wearable device designed to assist visually impaired individuals. MagicEye employs a custom-trained CNN-based object detection model, capable of recognizing a wide range of indoor and outdoor objects frequently encountered in daily life. With a total of 35 classes, the neural network employed by MagicEye has been specifically designed to achieve high levels of efficiency and precision in object detection. The device is also equipped with facial recognition and currency identification modules, providing invaluable assistance to the visually impaired. In addition, MagicEye features a GPS sensor for navigation, allowing users to move about with ease, as well as a proximity sensor for detecting nearby objects without physical contact. In summary, MagicEye is an innovative and highly advanced wearable device that has been designed to address the many challenges faced by individuals with visual impairments. It is equipped with state-of-the-art object detection and navigation capabilities that are tailored to the needs of the visually impaired, making it one of the most promising solutions to assist those who are struggling with visual impairments.

研究の動機と目的

• 視覚障害者が日常のナビゲーション、物体認識、社会的相互作用において直面する課題に対処すること。
• 環境認識のための聴覚フィードバックをリアルタイムで提供するウェアラブル補助デバイスを構築すること。
• 移動の杖、ガイドドッグ、スマートフォンアプリなどの既存ソリューションを凌駆するために、ディープラーニングとマルチセンサーフュージョンを統合すること。
• 軽量で凍結されたバックボーンを備えた YOLOv5 モデルを用いて、35 の物体クラス、通貨、顔を高精度で認識すること。
• 統合された GPS ナビゲーションと非接触型近接検出により、ユーザーの独立性を向上させること。

提案手法

• 計算負荷を低減し、推論速度を向上させるために、凍結された特徴バックボーンを備えたカスタムトレーニングされた YOLOv5 をベースにした畳み込みニューラルネットワーク（CNN）。
• 複数のセンサーの統合：ターン・バイ・ターンのナビゲーション用に GPS、障害物検出用に近接センサー、視覚入力用にカメラを搭載。
• 骨伝導技術を用いた聴覚フィードバックにより、リアルタイムで物体、顔、通貨の識別結果を提供。
• 35 種類の日常生活の物体クラスを対象としたカスタムデータセット上でモデルのファインチューニングを行い、正確性、再現率、F1 スコアの指標で評価。
• 将来的なモデルの適応と新しい物体カテゴリへの拡張を可能にするために、アクティブラーニングの導入。
• 高い正確性を低推論コストで維持するため、トランスファー学習とモデル蒸留技術の適用。

実験結果

リサーチクエスチョン

• RQ1 YOLOv5 をベースにした軽量でリアルタイムの物体検出モデルは、視覚障害者のために日常的に使用される 35 種類の屋内・屋外の物体を効果的に認識できるか？
• RQ2 実世界の条件下で、システムは顔と通貨の種別をどの程度の正確性で検出・識別できるか？
• RQ3 GPS と近接センシングを統合することで、視覚障害者のナビゲーションと障害物回避の質はどの程度向上するか？
• RQ4 凍結されたバックボーンを備えた YOLOv5 モデルは、完全にファインチューニングされたバージョンやベースラインの YOLO 変種と比較して、正確性と効率性の面でどの程度優れているか？
• RQ5 骨伝導技術による聴覚フィードバックは、ユーザーの聴覚環境を遮断せずに状況認識を向上させることができるか？

主な発見

• MagicEye システムは、テストデータセット上で通貨認識で 99.75% の正確性と 99.86% の F1 スコアを達成した。
• 顔認識は 94.5% の正確性と 94.21% の F1 スコアを記録し、LFW ベンチマークで 89.60% の再現率を示し、優れた性能を発揮した。
• 25 エポックにわたる学習を通じて、モデルの正確性と再現率が着実に向上し、損失が減少し、性能が収束した。
• 混同行列から、35 の物体クラスすべてにおいて高い分類正確性が確認され、誤分類は最小限に抑えられた。
• YOLOv3 や完全にアンフリーズされた YOLOv5 と比較して、MagicEye は同じベンチマーク上での推論効率と正確性の両面で優れた性能を示した。
• 凍結されたバックボーンの使用により、モデルサイズと計算コストが削減され、エッジデバイス上でのリアルタイム推論が可能になった。