[論文レビュー] From Struggle to Success: Context-Aware Guidance for Screen Reader Users in Computer Use

Nan Chen, Jing Lu+4 more|arXiv (Cornell University)|Jan 26, 2026

Digital Accessibility for Disabilities被引用数 0

ひとこと要約

AskEase は、環境、知識、対話コンテキストを収集して段階的でアクセスしやすいガイダンスを提供する、スクリーンリーダーユーザー向けのオンデマンドAIアシスタントであり、タスクの成功率を高め、作業負荷を軽減します。

ABSTRACT

Equal access to digital technologies is critical for education, employment, and social participation. However, mainstream interfaces are visually oriented, creating steep learning curves and frequent obstacles for screen reader users, and limiting their independence and opportunities. Existing support is inadequate -- tutorials mainly target sighted users, while human assistance lacks real-time availability. We introduce AskEase, an on-demand AI assistant that provides step-by-step, screen reader user-friendly guidance for computer use. AskEase manages multiple sources of context to infer user intent and deliver precise, situation-specific guidance. Its seamless interaction design minimizes disruption and reduces the effort of seeking help. We demonstrated its effectiveness through representative usage scenarios and robustness tests. In a within-subjects study with 12 screen reader users, AskEase significantly improved task success while reducing perceived workload, including physical demand, effort, and frustration. These results demonstrate the potential of LLM-powered assistants to promote accessible computing and expand opportunities for users with visual impairments.

研究の動機と目的

• リアルタイムのコンピュータ利用時に、スクリーンリーダーユーザーを支援するアシスト系システムの設計目標を特定する。
• AskEase を開発し、リッチなコンテキストを自律的に収集・管理してガイダンスを根拠づける。
• 外部ドキュメンテーションを RAG（Retrieval-Augmented Generation）を介して統合し、アクセス可能で段階的なユーザー指向ガイダンスを提供する。
• ユーザーのタスクフローへの妨害を最小化するシームレスなヘルプ探索を保証する。
• ユーザーシナリオと実証的研究を通じて AskEase の有効性と堅牢性を示す。

提案手法

• コンテキストQ&Aと画面記述機能を備えた NVDA アドオンとして AskEase を開発する。
• 環境・知識・対話コンテストの三つの情報源からコンテキスト管理を設計する。
• 最新のガイダンスのため、 curated ソフトウェアドキュメントを用いた RAG を実装する。
• キーボード中心・非視覚・簡潔なガイダンスを生成するためにユーザー応答の好みを適用する。
• 12 アプリケーションと2つの使用シナリオにわたる頑健性と有効性を評価する。

Figure 1. AskEase automatically collects and manages multiple sources of context to enhance situational awareness and provide precise, screen reader user-friendly guidance. It considers three main types of context: (1) Environment contexts , including desktop screenshots with focused elements highli

実験結果

リサーチクエスチョン

• RQ1 自動化されたコンテキストエンジニアリングは、スクリーンリーダーユーザーが現在の状況と意図を理解するのをどう支援できるか？
• RQ2 オンデマンドAIアシスタントは、未知のコンピュータタスク中のタスク成功率を向上させ、負荷感を低減できるか？
• RQ3 環境・知識・対話コンテキストを統合することは、ガイダンスの質と関連性にどんな影響を与えるか？
• RQ4 AskEase は多様なアプリケーションと現実的な使用シナリオでどの程度機能するか？

主な発見

• スクリーンリーダーユーザー12名を対象とした同じ条件実験で、AskEase はタスク完了率を向上させた。
• AskEase は知覚される workload を低減し、身体的負荷・努力・フラストレーションを含む指標を改善した。
• 参加者は AskEase の設計とガイダンスがスクリーンリーダーのワークフローと一致し、独立した計算を支援すると報告した。
• 本システムは複数ソースのコンテキストと RAG を活用して、正確でアクセスしやすいガイダンスを提供する。
• 現実的な2つの使用シナリオは、新しいAIツールの学習とアクセシビリティ問題の解決に実用的な適用性を示した。

Figure 2. AskEase dialog: pop-up with a question input field and chat history view , showing one user question and its AI reply at a time, with Previous/Next buttons to navigate through the multi‑turn chat history. .