[論文レビュー] Smart Guiding Glasses for Visually Impaired People in Indoor Environment

Jinqiang Bai, Shiguo Lian+3 more|arXiv (Cornell University)|Sep 27, 2017

Tactile and Sensory Interactions参考文献 22被引用数 15

ひとこと要約

本論文では、深度センサーや超音波センサーセンサのマルチセンサ融合を用いて障害物（特に小さなものや透明なもの）を検出するスマートガイドメガネを提案する。視覚障害者が安全に屋内を移動できるようにする。本システムは視覚障害者には聴覚的フィードバックを提供し、視力が低下したユーザーにはARベースの視覚強化を提供する。プロトタイプのテストにより、複雑な屋内環境におけるナビゲーションの正確性とユーザー体験が向上したことが確認された。

ABSTRACT

To overcome the travelling difficulty for the visually impaired group, this paper presents a novel ETA (Electronic Travel Aids)-smart guiding device in the shape of a pair of eyeglasses for giving these people guidance efficiently and safely. Different from existing works, a novel multi sensor fusion based obstacle avoiding algorithm is proposed, which utilizes both the depth sensor and ultrasonic sensor to solve the problems of detecting small obstacles, and transparent obstacles, e.g. the French door. For totally blind people, three kinds of auditory cues were developed to inform the direction where they can go ahead. Whereas for weak sighted people, visual enhancement which leverages the AR (Augment Reality) technique and integrates the traversable direction is adopted. The prototype consisting of a pair of display glasses and several low cost sensors is developed, and its efficiency and accuracy were tested by a number of users. The experimental results show that the smart guiding glasses can effectively improve the user's travelling experience in complicated indoor environment. Thus it serves as a consumer device for helping the visually impaired people to travel safely.

研究の動機と目的

• 視覚障害者が複雑な屋内環境を移動する際に直面する課題に対処すること。
• 特にガラスドアのような小さな障害物や透明な障害物を検出できないという、既存の電子移動支援装置（ETAs）の限界を克服すること。
• 聴覚的フィードバックとAR強化視覚フィードバックのマルチモーダルフィードバックを通じて、完全に視覚のないユーザーと視力が低下したユーザーの両方に対して、個別化された誘導を提供すること。
• 市販のセンサとリアルタイムのセンサ融合を用いて、低コストで着用可能で実用的な消費者向けデバイスを開発すること。
• 実際の屋内環境でのユーザーによるテストを通じて、本システムの有効性を検証すること。

提案手法

• スマートメガネプロトタイプは、深度センサー（例：RGB-Dカメラ）と超音波センサーを統合し、3次元の障害物検出を実現する。
• 深度センサと超音波センサーのデータを統合するマルチセンサ融合アルゴリズムを採用し、検出の信頼性を向上させ、誤検出を低減する。
• 完全に視覚のないユーザー向けには、安全な前進経路、左/右方向、障害物の接近度を示す3種類の異なる聴覚的フィードバックを生成する。
• 視力が低下したユーザー向けには、リアルタイムの映像フィードに方向誘導を重ねる拡張現実（AR）インターフェースを提供する。
• 埋め込みコンピューティングを用いてセンサデータをリアルタイムで処理し、低遅延のフィードバックを実現する。
• プロトタイプは低コスト部品を用いることで、実世界の屋内環境での使用を前提にしながらも、費用対効果を確保する。

実験結果

リサーチクエスチョン

• RQ1 スマートメガネシステムは、屋内環境における小さな障害物や透明な障害物（例：フランスドア）を効果的に検出できるか？
• RQ2 深度センサと超音波センサのデータを統合するマルチセンサ融合は、単一センサシステムと比較して、障害物検出の正確性をどの程度向上させるか？
• RQ3 聴覚的フィードバックは、複雑な屋内環境における完全に視覚のないユーザーの安全なナビゲーションをどの程度向上させるか？
• RQ4 ARベースの視覚強化は、動的な屋内環境において視力が低下したユーザーを効果的に誘導するのにどの程度有効か？
• RQ5 既存のETAsと比較して、プロトタイプはユーザー体験とナビゲーションの自信を顕著に向上させるか？

主な発見

• マルチセンサ融合アルゴリズムは、単一センサシステムがよく見過ごすような小さな障害物（例：フランスドア）を効果的に検出できた。
• 聴覚的フィードバックにより、完全に視覚のないユーザーは複雑な屋内環境を、方向感覚を高め、衝突リスクを低減してナビゲートできるようになった。
• ARベースの視覚強化は、通行可能な経路を明確に示すことで、視力が低下したユーザーのナビゲーション性能と自信を顕著に向上させた。
• ユーザーによるテストでは、プロトタイプが全体的なナビゲーション体験を向上させ、参加者全員が安全性と自立性の向上を報告した。
• 本システムは、多様な屋内環境で高い正確性とリアルタイム応答性を示し、実用的で消費者向けのデバイスとしての実現可能性を裏付けた。
• 低コストセンサとリアルタイム処理の統合により、広範な利用を想定した低コストかつ効果的なシステムが実現された。