[논문 리뷰] VizQStudio: Iterative Visualization Literacy MCQs Design with Simulated Students

Zixin Chen, Yuhang Zeng외 5명|arXiv (Cornell University)|2026. 03. 01.

Intelligent Tutoring Systems and Adaptive Learning인용 수 0

한 줄 요약

VizQStudio는 강사가 MLLM-파워드 시뮬레이티드 학생들을 활용하여 다중 모달 시각화 이해도 MCQ를 반복적으로 설계할 수 있게 하는 시각 분석 시스템으로, 설계 시 피드백, 오해 감지, 그리고 정교한 질문 생성이 가능하게 한다.

ABSTRACT

Multiple-choice questions (MCQs) are a widely used educational tool, particularly in domains such as visualization literacy that require broad conceptual coverage and support diverse real-world applications. However, designing high-quality visualization literacy MCQs remains challenging, as instructors must coordinate multimodal elements (e.g., charts, question stems, and distractors), address diverse visualization tasks, and accommodate learners with heterogeneous backgrounds. Existing visualization literacy assessments primarily rely on standardized, fixed item banks, offering limited support for iterative question design that adapts to differences in learners' abilities, backgrounds, and reasoning strategies. To address these challenges, we present VizQStudio, a visual analytics system that supports instructors in iteratively designing and refining visualization literacy MCQs using MLLM-powered simulated students. Instructors can specify diverse student profiles spanning demographics, knowledge levels, and learning-related traits. The system then visualizes how simulated students reason about and respond to different question components, helping instructors explore potential misconceptions, difficulty calibration, and design trade-offs prior to classroom deployment. We investigate VizQStudio through a mixed-method evaluation, including expert interviews, case studies, a classroom deployment, and a large-scale online study. Overall, this work reframes MLLM-based student simulation in assessment authoring as a design-time, exploratory aid. By examining both its value and limitations in realistic instructional settings, we surface design insights that inform how future systems can support instructor-centered, iterative, and responsible uses of AI for multimodal assessment design in visualization literacy and related domains.

연구 동기 및 목표

• 시각화 이해도 MCQ와 시뮬레이티드 피드백 설계를 위한 강사들의 요구를 식별한다.
• AI 기반 학생 시뮬레이션을 활용한 반복적 MCQ 설계를 지원하는 시각 분석 워크플로우를 제공한다.
• 교실 적용 전에 오해 탐색, 난이도 보정, 설계상의 절충점을 탐색할 수 있게 한다.
• 질문 설계에서 다양한 학습자 프로필과 인지 요인을 지원한다.
• 전문가 인터뷰, 사례 연구, 교실 배치, 온라인 연구를 통해 시스템을 평가한다.

제안 방법

• MCQ 설계 및 학생 프로필에 대한 설계 요구사항과 특징을 도출하기 위해 형성적 연구를 사용한다.
• 다섯 개의 패널(Sample, Feature, Simulation, Agent Profile, Agent Setting)과 Simulation View를 갖춘 VizQStudio를 개발한다.
• 프로필 생성, 군집화, 응답을 생성하는 MLLM 기반 학생 시뮬레이션 모듈을 구현한다.
• 차트 생성을 위한 D3.js 템플릿을 활용한 템플릿 기반, 검색 보강 생성 파이프라인을 채택한다.
• 시뮬레이션된 추론 경로와 그룹 단위 분석에 대한 실시간, 시각적 피드백을 제공하여 반복적 개선을 이끈다.

실험 결과

연구 질문

• RQ1 시각화 교육자들이 MCQ 설계 및 시뮬레이티드 피드백을 위해 갖는 설계 요구사항은 무엇인가?
• RQ2 AI 기반 시뮬레이티드 학생 모델이 시각화 이해력에서의 반복적 다중 모드 MCQ 설계에 어떻게 정보를 제공할 수 있는가?
• RQ3 VizQStudio가 다양한 학습자 프로필에 걸친 MCQ의 효과적이고 확장 가능한 설계 시점 평가를 가능하게 하는가?
• RQ4 시각화 이해력에서 평가 저작을 위해 MLLMs를 통합할 때의 한계와 설계 고려사항은 무엇인가?

주요 결과

• VizQStudio로 설계된 MCQ는 기존 벤치마크 질문과 비교할 만한 학습 성과를 지원한다.
• 시스템은 MCQ 설계 과정에서 더 큰 유연성과 확장성을 가능하게 한다.
• 시뮬레이티드 학생 피드백은 오해를 식별하고 반복적 개선에 정보를 제공한다.
• D3.js 템플릿 기반 생성과 RAG 유사 검색은 안정성과 차트 품질을 향상시킨다.
• 학생 프로필과 클러스터링은 대상 질문 조정을 위한 그룹 수준의 통찰력을 제공한다.
• 설계 시뮬레이션은 난이도, 맥락, 시각적 인코딩 간의 절충점을 명확히 한다.