[論文レビュー] Accessible Visualization via Natural Language Descriptions: A Four-Level Model of Semantic Content

Alan Lundgard, Arvind Satyanarayan|arXiv (Cornell University)|Oct 8, 2021

Subtitles and Audiovisual Media被引用数 11

ひとこと要約

本稿は、視覚的可視化の自然言語記述の意味的コンテンツを分類するための4段階モデルを提案する。このモデルは、低レベルの視覚的構築から高レベルの分野固有のイン사이트までをカバーする。2,147文の分析と120名の参加者を対象とした混合研究を通じて、視覚に障害のある読者と視覚に問題のない読者が異なる意味的レベルを優先することを明らかにした。これは、効果的なアクセシビリティが読者固有のニーズや好みに合わせた記述を要することを示している。

ABSTRACT

Natural language descriptions sometimes accompany visualizations to better communicate and contextualize their insights, and to improve their accessibility for readers with disabilities. However, it is difficult to evaluate the usefulness of these descriptions, and how effectively they improve access to meaningful information, because we have little understanding of the semantic content they convey, and how different readers receive this content. In response, we introduce a conceptual model for the semantic content conveyed by natural language descriptions of visualizations. Developed through a grounded theory analysis of 2,147 sentences, our model spans four levels of semantic content: enumerating visualization construction properties (e.g., marks and encodings); reporting statistical concepts and relations (e.g., extrema and correlations); identifying perceptual and cognitive phenomena (e.g., complex trends and patterns); and elucidating domain-specific insights (e.g., social and political context). To demonstrate how our model can be applied to evaluate the effectiveness of visualization descriptions, we conduct a mixed-methods evaluation with 30 blind and 90 sighted readers, and find that these reader groups differ significantly on which semantic content they rank as most useful. Together, our model and findings suggest that access to meaningful information is strongly reader-specific, and that research in automatic visualization captioning should orient toward descriptions that more richly communicate overall trends and statistics, sensitive to reader preferences. Our work further opens a space of research on natural language as a data interface coequal with visualization.

研究の動機と目的

• 自然言語による視覚的可視化の意味的コンテンツを理解するための体系的フレームワークの欠如に対処すること。
• 視覚に障害のある読者にとって特に重要な、記述が伝える情報の種別を特定・分類すること。
• 視覚に障害のある読者と視覚に問題のない読者という異なる読者グループが、視覚的可視化の記述におけるさまざまな意味的コンテンツレベルの有用性をどのように認識しているかを評価すること。
• アクセシブルなデータ可視化のためのより効果的で読者に配慮した自動キャプション生成システムの設計を支援すること。
• アクセシビリティ理論と実証的検証に基づき、自然言語を視覚的可視化と同等のデータインターフェースとして位置づけること。

提案手法

• 120名以上の参加者が関与したオンライン研究から得られた2,147件の自然言語文を対象に、 grounded theory 分析を実施し、視覚的可視化記述における繰り返し現れる意味的パターンを同定した。
• 4段階の概念的モデルを構築した：(1) 視覚的構築プロパティ（例：マーク、エンコーディング）、(2) 統計的コンセプトと関係（例：極値、相関）、(3) 感覚的・認知的現象（例：トレンド、パターン）、(4) 分野固有のインサイト（例：社会的・政治的文脈）。
• 4段階のモデルを用いて、多様な分野にまたがる120件の視覚的可視化記述を評価し、意味的コーディングを用いてコンテンツを4段階に分類した。
• 視覚に障害のある読者30名と視覚に問題のない読者90名を対象とした混合研究評価を実施し、4段階の意味的レベルにおける記述の有用性の認識を評価した。
• 統計的分析（例：ノンパラメトリック検定）を用いて、読者グループ間の好みの差を比較し、意味的コンテンツの有用性の順位付けにおける有意差を同定した。
• 研究結果を統合し、読者に配慮した自然言語インターフェースの設計フレームワークを構築した。特に、文脈に配慮したキャプション生成を重視した。

Figure 1: A visual “fingerprint” [ 49 ] of our corpus, faceted by chart type and difficulty. Each row corresponds to a single chart. Each column shows a participant-authored description for that chart, color coded according to our model. The first column shows the provided Level 1 prompt.

実験結果

リサーチクエスチョン

• RQ1 自然言語による視覚的可視化の記述が伝える意味的コンテンツの明確な段階とは何か？
• RQ2 視覚に障害のある読者と視覚に問題のない読者は、視覚的可視化の記述におけるさまざまな意味的コンテンツ段階の有用性をどのように認識しているか？
• RQ3 異なる意味的段階（例：統計的 vs. 文脈的）が、視覚的可視化における意味のある情報へのアクセスをどの程度効果的に支えるか？
• RQ4 意味的コンテンツの概念的モデルは、アクセシブルな視覚的可視化記述の設計と評価をどのように改善できるか？
• RQ5 読者固有の意味的コンテンツの好みは、視覚的可視化アクセシビリティにおける自動キャプション生成システムにどのような意味を持つのか？

主な発見

• 4段階の意味的モデルは、視覚的可視化記述における意味の全範囲を、技術的構築から高レベルの分野固有のインサイトまで効果的に分類できた。
• 視覚に障害のある読者は、分野固有のインサイト（レベル4）を最も有用と評価し、次に統計的関係（レベル2）を評価した。一方、視覚に問題のない読者は、感覚的・認知的現象（レベル3）と統計的関係（レベル2）を優先した。
• 視覚に障害のある読者と視覚に問題のない読者の間で、有用性順位に顕著な差が認められた（p < 0.01）。これは、アクセシビリティが読者固有であることを示している。
• 全体的なトレンドや統計的関係に焦点を当てた記述は、視覚的構築や低レベルのエンコーディング詳細にのみ焦点を当てた記述よりも、より有用であると認識された。
• 本研究は、現在の自動キャプション生成システムが、特に視覚に障害のある読者にとって意味のあるアクセスに不可欠な高レベルの意味的コンテンツを捉えていないことが確認された。
• 今後の自動キャプション生成は、読者の好みに配慮し、機械的・構造的な記述よりも、豊かで文脈に配慮した記述を優先すべきであると示唆している。