[論文レビュー] SeeReader: An (Almost) Eyes-Free Mobile Rich Document Viewer

Scott A. Carter, Laurent Denoue|ArXiv.org|Sep 11, 2009

Interactive and Immersive Displays参考文献 11被引用数 5

ひとこと要約

SeeReader は、音声読み上げ（TTS）とリアルタイムの視覚的コンテンツ認識、および適応型ドキュメント表示を組み合わせることで、豊富なコンテンツをほぼ目を凝らさずに読めるモバイルアプリケーションです。画像、表、図表などの重要な視覚的要素について、音声によるお知らせを提供することで、周囲の環境に注意を払いながらも安全で継続的なドキュメント閲覧を可能にします。

ABSTRACT

Reading documents on mobile devices is challenging. Not only are screens small and difficult to read, but also navigating an environment using limited visual attention can be difficult and potentially dangerous. Reading content aloud using text-tospeech (TTS) processing can mitigate these problems, but only for content that does not include rich visual information. In this paper, we introduce a new technique, SeeReader, that combines TTS with automatic content recognition and document presentation control that allows users to listen to documents while also being notified of important visual content. Together, these services allow users to read rich documents on mobile devices while maintaining awareness of their visual environment.

研究の動機と目的

• 限られた視覚的注意を要する小さなモバイル画面で豊富なコンテンツのドキュメントを読む課題に対処すること。
• 画像や表といった視覚的コンテンツを無視する従来の音声読み上げ（TTS）システムの制限を克服すること。
• モバイルデバイスでドキュメントを読んでいる際、周囲の環境に気づき続けるようにすること。
• TTS とリアルタイムの視覚認識、動的コンテンツ表示制御を統合するシステムを開発すること。
• 移動中や動的な環境下でも、モバイルユーザーが豊富なコンテンツのドキュメントをよりアクセシブルかつ使いやすくすること。

提案手法

• ドキュメントコンテンツを音声で読み上げるための音声読み上げ（TTS）処理を統合すること。
• リアルタイムで画像、表、チャートなどの視覚的要素を検出し分類する自動コンテンツ認識を活用すること。
• 検出された視覚的コンテンツに基づいて、音声出力を動的に調整するドキュメント表示制御を実装すること。
• 重要な視覚的要素が検出された際に、非テキストコンテンツの存在をユーザーに知らせる音声お知らせを発動すること。
• ドキュメントナビゲーション中に文脈的認識を維持するために、TTS 出力と視覚認識を調整すること。
• 低遅延かつ最小限のユーザー操作で実現できるように、モバイルデプロイメントを想定したシステム設計をすること。

実験結果

リサーチクエスチョン

• RQ1 視覚的注意を要する環境で、モバイルドキュメントの閲覧をどのようにしてより安全かつアクセシブルにできるか？
• RQ2 TTS 読み上げ中に、豊富なドキュメント内の視覚的コンテンツをどの程度検出し、音声お知らせで伝えることができるか？
• RQ3 TTS と視覚認識を統合したシステムは、複雑なドキュメントを読んでいる際も、ユーザーの周囲の環境に対する意識を維持できるか？
• RQ4 視覚的コンテンツの音声お知らせが、ユーザーの理解力やタスクパフォーマンスに与える影響は何か？
• RQ5 TTS と視覚認識の統合は、モバイルデバイス上で目を凝らさずにドキュメントとやり取りするのをどの程度効果的に支援できるか？

主な発見

• SeeReader は、ユーザーが視覚的注意を最小限に抑えながら、モバイルデバイスで豊富なコンテンツのドキュメントを読めるようにした。
• 本システムは、画像や表といった重要な視覚的要素を音声お知らせで効果的に検出し、ユーザーに知らせた。
• ユーザーは読書中に周囲の環境に注意を払い続け、気を散らすか事故のリスクを減らした。
• TTS と視覚認識の統合により、コンテンツの正確性を損なわず、ドキュメントのアクセシビリティが向上した。
• 本アプローチは、現実世界の状況で目を凝らさずにドキュメントを読む実用的な解決策を示した。
• 音声フィードバックとコンテンツの正確性のバランスを図ることで、モバイル利用時の効果的な理解を支援した。