[論文レビュー] SVLAT: Scientific Visualization Literacy Assessment Test

Patrick Do, Kaiyuan Tang+2 more|arXiv (Cornell University)|Mar 19, 2026

Data Visualization and Analytics被引用数 0

ひとこと要約

SVLAT は、一般市民の SciVis リテラシーを測定する標準化され、心理測定学的に検証された指標を提示します。19 の可視化と 11 のタスクタイプにわたる 71 の項目を用い、CTT および IRT 分析による信頼性を支持します。

ABSTRACT

Scientific visualization (SciVis) has become an essential means for exploring, understanding, and communicating complex scientific phenomena. However, the field still lacks a validated instrument assessing how well people read, understand, and interpret them. We present a scientific visualization literacy assessment test (SVLAT) that measures the general public's SciVis literacy. Covering a range of visualization forms and interpretation demands, SVLAT comprises 49 items grounded in 18 scientific visualizations and illustrations spanning eight visualization techniques and 11 tasks. Instrument development followed a staged, psychometrically grounded pipeline. We defined the construct and blueprint, followed by item generation, and expert review with five SciVis experts using the content validity ratio (mean CVR = 0.79). We subsequently administered a pilot test (30 participants) and a large-scale test tryout (485 participants) to evaluate the instrument's psychometric properties. For validation, we performed item analysis and refinement using both classical test theory (CTT) and item response theory (IRT) to examine item functioning and overall test quality. SVLAT demonstrates high reliability in the tryout sample (McDonald's omega_t = 0.82, Cronbach's alpha = 0.81). The assessment materials are available at https://osf.io/hr3nw/.

研究の動機と目的

• SciVis リテラシーを、閉世界ルール下で非専門家が科学的可視化を読解・理解・解釈する能力として定義する。
• 構成概念から信頼性まで、標準化された心理測定ベースの評価プロセスを開発する。
• 多様な技法と領域を横断する多様な可視化セットを作成し、広範なカバレッジと生態学的妥当性を担保する。
• 再現可能な研究と研究間比較を可能にするオープンアクセスの SVLAT 資料を提供する。

提案手法

• 構築と設計図、項目生成、専門家レビューによる内容妥当性、パイロットテスト、 大規模サンプルでの試行、信頼性評価という段階的パイプラインに従う。
• 質的および量的心理測定（CTT および IRT）を用いて項目難易度、識別力、検査情報を評価する。
• SciVis リテラシー潜在特性に対する項目の識別力と難易度を推定するベイジアン二項ロジスティック（2PL）IRT モデルを適用する。
• McDonald’s omega および Cronbach’s α を用いて信頼性を算出する。
• 専門家パネルを用いた Lawshe の内容妥当性比率（CVR）で項目をスクリーニングする。
• 再現性を確保するため SVLAT 資材のオープンリポジトリを維持する。）

実験結果

リサーチクエスチョン

• RQ1 一般市民における SciVis リテラシーの適切な構成定義と設計図は何か。
• RQ2 閉世界・図説とキャプション主導のテストは、多様な可視化技法とタスクを横断して SciVis リテラシーを安定して測定できるか。
• RQ3 CTT および IRT 分析における SVLAT 項目の難易度と識別力はどのように振る舞うか。
• RQ4 大規模サンプル試行における SVLAT の全体的信頼性はどの程度か。

主な発見

• SVLAT は試行サンプルで高い信頼性を示す（McDonald’s ωt = 0.82、Cronbach’s α = 0.81）。
• CVR 評価により項目銀行を専門家によって精密化し、CVR が 0 未満の項目を除去、項目間の冗長性を減少させた。
• 本指標は 71 項目で8つの SciVis 技法・11種類のタスクをカバーし、詳細な設計図の対応を持つ。
• CTT およびベイジアン 2PL IRT の両方の分析を用いて、能力レベル全体にわたる項目機能と検査精度を評価した。