[論文レビュー] Improving the Accessibility of Scientific Documents: Current State, User Needs, and a System Solution to Enhance Scientific PDF Accessibility for Blind and Low Vision Users

Lucy Lu Wang, Isabel Cachola+8 more|arXiv (Cornell University)|Apr 30, 2021

Digital Accessibility for Disabilities被引用数 16

ひとこと要約

本論文では、機械学習を用いて、視覚に障害がある（BLV）ユーザーのナビゲーション性と可読性を向上させるために、アクセス不能な科学的PDFを意味的に豊かなアクセシブルなHTMLドキュメントに自動変換するシステム、SciA11yを提案する。このシステムは87%のケースで高品質なレンダリングを達成し、定性的な研究において強いユーザー受容性を示した。参加者全員が、将来的にこのシステムを主なワークフローとして採用する意思を示した。

ABSTRACT

The majority of scientific papers are distributed in PDF, which pose challenges for accessibility, especially for blind and low vision (BLV) readers. We characterize the scope of this problem by assessing the accessibility of 11,397 PDFs published 2010--2019 sampled across various fields of study, finding that only 2.4% of these PDFs satisfy all of our defined accessibility criteria. We introduce the SciA11y system to offset some of the issues around inaccessibility. SciA11y incorporates several machine learning models to extract the content of scientific PDFs and render this content as accessible HTML, with added novel navigational features to support screen reader users. An intrinsic evaluation of extraction quality indicates that the majority of HTML renders (87%) produced by our system have no or only some readability issues. We perform a qualitative user study to understand the needs of BLV researchers when reading papers, and to assess whether the SciA11y system could address these needs. We summarize our user study findings into a set of five design recommendations for accessible scientific reader systems. User response to SciA11y was positive, with all users saying they would be likely to use the system in the future, and some stating that the system, if available, would become their primary workflow. We successfully produce HTML renders for over 12M papers, of which an open access subset of 1.5M are available for browsing at https://scia11y.org/

研究の動機と目的

• 2010–2019年に発表された11,397編の科学的PDFのアクセシビリティを評価し、完全なアクセシビリティ基準を満たすのはたったの2.4%であった。
• スクリーンリーダーを用いて科学論文を読む際、視覚に障害がある（BLV）研究者が直面する主な課題を特定する。
• 科学的PDFから意味的コンテンツを抽出し、BLVユーザー向けにアクセシブルでナビゲーション可能なHTMLにレンダリングする、自動化されたシステムであるSciA11yを設計および実装する。
• 専門家によるレンダリング品質の評価と、6名のBLV研究者を対象とした定性的ユーザー研究を通じて、システムの有効性を評価する。
• ユーザーのフィードバックに基づき、将来のアクセシブルな科学的リーダーシステムの開発を支援するための5つの実行可能な設計指針を導出する。

提案手法

• システムは、科学的PDFからテキスト、数式、表、図、文書構造を抽出するために複数の機械学習モデルを用いる。
• コンテンツを、ラベル付きの見出し、読み順、スクリーンリーダーに最適化されたナビゲーション機能を備えた意味的に構造化されたHTML形式に再構築する。
• 忠実度と可読性を評価するために、100件のランダムに抽出されたHTMLレンダリングについて専門家による評価を実施し、問題がなく、またはわずかに問題がある、多数の問題があるの3段階で分類した。
• 6名のBLV研究者を対象とした定性的なユーザー研究を実施し、ネイティブPDFとSciA11yでレンダリングされたHTMLバージョンの両方をスクリーンベースでナビゲートした。
• 思考 aloud法と構造化されたインタビュー・ガイドを用いて、ワークフロー、課題、システムの実用的価値に関するフィードバックを収集した。
• システムは1,200万本以上の論文をレンダリングした。そのうち150万件のオープンアクセス版は、scia11y.orgで一般公開された。

実験結果

リサーチクエスチョン

• RQ1 複数の分野および出版年における科学的PDFにおけるアクセシビリティの現状はどのようになっているか？
• RQ2 視覚に障害がある（BLV）研究者がスクリーンリーダーを用いて科学論文を読む際、具体的にどのような課題に直面しているか？
• RQ3 SciA11yのような自動化システムが、BLVユーザーのための科学的PDFのアクセシビリティと使いやすさをどの程度向上させられるか？
• RQ4 BLV研究者が、元のPDFと比較して、機械変換されたHTML版の科学論文の使いやすさと価値をどのように認識しているか？
• RQ5 ユーザーのフィードバックから、将来のアクセシブルな科学的リーダーシステムの開発を指針とする設計原則は何か？

主な発見

• 2010–2019年の間の11,397件のサンプルされた科学的PDFのうち、定義されたアクセシビリティ基準をすべて満たすのはたった2.4%にとどまり、広範なアクセシビリティ欠如が明らかになった。
• 専門家による評価によると、SciA11yが生成したHTMLレンダリングの87%が、問題がなく、または軽微な可読性の問題しか持たない。
• ユーザー研究に参加した6名の全員が、将来的にSciA11yを活用する可能性が高いと報告し、一部の参加者はそれが将来的な主な読書ワークフローになる可能性を示唆した。
• 参加者たちは、PDFに見られる主な課題として、非線形な読み順、構造タグの欠落、図のラベルなしを特定したが、これらすべてがSciA11yによって効果的に軽減された。
• ユーザー研究から、ナビゲーションの強化、意味的ラベル付け、数式コンテンツのサポートを含む、アクセシブルな科学的リーダーシステムのための5つの具体的な設計指針が得られた。
• システムは1,200万本以上の科学論文を正常にレンダリングし、そのうち150万件のオープンアクセス版が、scia11y.orgで一般ユーザーが閲覧可能となった。