[논문 리뷰] SVLAT: Scientific Visualization Literacy Assessment Test

Patrick Do, Kaiyuan Tang외 2명|arXiv (Cornell University)|2026. 03. 19.

Data Visualization and Analytics인용 수 0

한 줄 요약

SVLAT는 일반 대중의 SciVis 이해력을 측정하기 위한 표준화되고 심리측정적으로 검증된 도구를 제시하며, 19개의 비주얼라이제이션과 11개의 작업 유형에 걸친 71개 항목을 사용하고, CTT 및 IRT 분석에 의해 신뢰도가 뒷받침됩니다.

ABSTRACT

Scientific visualization (SciVis) has become an essential means for exploring, understanding, and communicating complex scientific phenomena. However, the field still lacks a validated instrument assessing how well people read, understand, and interpret them. We present a scientific visualization literacy assessment test (SVLAT) that measures the general public's SciVis literacy. Covering a range of visualization forms and interpretation demands, SVLAT comprises 49 items grounded in 18 scientific visualizations and illustrations spanning eight visualization techniques and 11 tasks. Instrument development followed a staged, psychometrically grounded pipeline. We defined the construct and blueprint, followed by item generation, and expert review with five SciVis experts using the content validity ratio (mean CVR = 0.79). We subsequently administered a pilot test (30 participants) and a large-scale test tryout (485 participants) to evaluate the instrument's psychometric properties. For validation, we performed item analysis and refinement using both classical test theory (CTT) and item response theory (IRT) to examine item functioning and overall test quality. SVLAT demonstrates high reliability in the tryout sample (McDonald's omega_t = 0.82, Cronbach's alpha = 0.81). The assessment materials are available at https://osf.io/hr3nw/.

연구 동기 및 목표

• SciVis 이해력을 비전문가가 닫힌 세계 규칙 하에서 과학적 시각화를 읽고 이해하며 해석하는 능력으로 정의한다.
• 구성개념에서 신뢰도에 이르는 표준화되고 심리측정적으로 기초를 둔 평가 프로세스를 개발한다.
• 다양한 기법과 도메인을 포괄하는 다양한 시각화 집합을 생성하여 넓은 범위의 커버리지와 생태학적 타당성을 보장한다.
• 재현 가능한 연구와 연구 간 비교를 가능하게 하기 위해 오픈 액세스 SVLAT 자료를 제공한다.

제안 방법

• 구성 및 청사진 작성, 항목 생성, 전문가 검토를 통한 내용 타당도, 파일럿 테스트, 대규모 표본을 사용한 예비 평가, 신뢰도 평가를 포함한 단계적 파이프라인을 따른다.
• 항목 난이도, 변별도, 테스트 정보 등을 평가하기 위해 질적 및 양적 심리측정학(CTT 및 IRT)을 활용한다.
• SciVis 이해력 잠재 특성에서 항목의 변별도와 난이도를 추정하기 위해 베이지안 이항로지스틱(2PL) IRT 모델을 적용한다.
• McDonald’s ω와 Cronbach의 알파로 신뢰도를 계산한다.
• 전문가 패널을 활용한 Lawshe의 내용 타당도 비율(CVR)로 항목을 선별한다.
• 재현성을 위한 SVLAT 자료의 공개 저장소를 유지한다.

실험 결과

연구 질문

• RQ1 일반 대중에서의 SciVis 이해력에 대한 적절한 구성 정의와 청사진은 무엇인가?
• RQ2 닫힌 세계의 그림-캡션 중심 테스트가 다양한 시각화 기법과 작업 전반에 걸쳐 SciVis 이해력을 신뢰성 있게 측정할 수 있는가?
• RQ3 SVLAT 항목에 대해 CTT 및 IRT 분석에서 항목의 난이도와 변별도가 어떻게 작용하는가?
• RQ4 대규모 샘플 실험에서 SVLAT의 전반적인 신뢰도는 어느 정도인가?

주요 결과

• SVLAT은 시도(tryout) 샘플에서 높은 신뢰도를 보인다( McDonald’s ωt = 0.82, Cronbach’s α = 0.81 ).
• 전문가 CVR 평가를 통해 항목 뱅크를 정제하고 CVR < 0인 항목을 제거하며 항목 간 중복성을 줄였다.
• 도구는 71개 항목에 걸쳐 8가지 SciVis 기술과 11개 작업 유형을 다루며, 상세한 청사진 매핑을 포함한다.
• 항목 작동과 능력 수준에 따른 시험 정밀도를 평가하기 위해 CTT와 베이시안 2PL IRT 분석이 모두 활용되었다.