[論文レビュー] A Survey of Mobile Computing for the Visually Impaired

Martin Weiß, Margaux Luck+3 more|arXiv (Cornell University)|Nov 25, 2018

Tactile and Sensory Interactions参考文献 24被引用数 4

ひとこと要約

本調査では、視覚障害者向けの機械学習ベースのモバイルアプリケーションを検討し、物体検出、OCR、画像キャプション作成、マイクロナビゲーションにおける機能性を評価する。プライバシーの向上、遅延の低減、アクセシビリティの向上を図るために、モデル圧縮およびフェデレーテッドラーニングを活用したデバイス内処理の推進を提唱し、モバイル認識、マイクロナビゲーション、コンテンツ要約分野における重要な研究方向性を特定する。

ABSTRACT

The number of visually impaired or blind (VIB) people in the world is estimated at several hundred million. Based on a series of interviews with the VIB and developers of assistive technology, this paper provides a survey of machine-learning based mobile applications and identifies the most relevant applications. We discuss the functionality of these apps, how they align with the needs and requirements of the VIB users, and how they can be improved with techniques such as federated learning and model compression. As a result of this study we identify promising future directions of research in mobile perception, micro-navigation, and content-summarization.

研究の動機と目的

• 視覚障害者または失明者（VIB）ユーザー向けのモバイル支援技術の現状を分析すること。
• 既存のモバイルアプリケーションがVIBユーザーの機能的・使いやすさのニーズをどの程度満たしているかを評価すること。
• コンテンツ要約、マイクロナビゲーション、文脈理解の分野における現在のシステムにおける主なギャップを特定すること。
• モデル圧縮およびフェデレーテッドラーニングを活用したデバイス内機械学習を推進し、プライバシー、遅延、自律性の向上を図ること。
• VIBユーザー向けの今後の研究方向性、特にモバイル認識、マイクロナビゲーション、インテリジェントなコンテンツ要約について提示すること。

提案手法

• VIBユーザーおよび支援技術開発者とのインタビューを通じて、現実世界のニーズと課題を特定した。
• オンデバイスおよびサーバー基盤のモデルを用いた、物体検出、OCR、画像キャプション作成、シーン理解の分野における既存のモバイルアプリケーションをサーベイした。
• モデルサイズとエネルギー消費の削減を目的とした、プルーニング、量子化、ハフマン符号化、知識蒸留のモデル圧縮技術を評価した。
• 個人の画像データを共有せずに共同でモデルを改善できるプライバシー保護手法としてのフェデレーテッドラーニングを検討した。
• MS COCOのような現在のデータセットがVIBユーザーのニーズに不足している点を分析し、コミュニティ主導のデータセット（例：VizWiz）の価値を強調した。
• クラウドサービスへの依存を減らすために、テキスト抽出、色検出、物体認識などのタスクをデバイス内処理に統合することを提案した。

実験結果

リサーチクエスチョン

• RQ1 視覚障害者向けの現在のモバイルアプリケーションは、物体検出、OCR、画像キャプション作成といった実世界のタスクにおいて、どの程度の性能を示しているか？
• RQ2 現在の支援技術における主な制限要因（正確性、遅延、プライバシー、ユーザーエクスペリエンス）は何か？
• RQ3 モデル圧縮および知識蒸留技術は、どのようにしてモバイルデバイス上で効率的に高精度なAIモデルを実行可能にするか？
• RQ4 フェデレーテッドラーニングは、個人のプライバシーを守りながら、VIBユーザー向けのモデル性能をどのように向上させ得るか？
• RQ5 支援技術分野における今後の研究分野として、最も有望な方向性は何か？特にモバイル認識、マイクロナビゲーション、コンテンツ要約の分野で。

主な発見

• BlindTool や SeeingAI といったデバイス内モデルは、遅延の低減とプライバシーの向上を実現しているが、モデルサイズおよびクラス一般化の面で制限を受ける。
• SeeingAI などのサーバー基盤のキャプション作成アプリは、高い正確性を誇るが、応答遅延が大きく、最適でないインタラクションパターンを有する。
• プルーニング、量子化、知識蒸留といったモデル圧縮技術は、正確性の大きな損失を伴わずに、モデルサイズとエネルギー消費を顕著に削減できる。
• フェデレーテッドラーニングは、個人の画像データを暴露せずにユーザー間でモデルを共同で改善できるため、VIBコミュニティに最適な手法である。
• MS COCO などの現在のデータセットは、効果的なナビゲーションやタスク実行に必要な詳細で文脈豊かな記述を欠いているため、VIBユーザーのニーズに不十分である。
• 物理文書のOCRとテキスト要約を統合したアプリケーションが極めて不足しており、現在の支援技術分野における大きなギャップである。