[論文レビュー] VizQStudio: Iterative Visualization Literacy MCQs Design with Simulated Students

Zixin Chen, Yuhang Zeng+5 more|arXiv (Cornell University)|Mar 1, 2026

Intelligent Tutoring Systems and Adaptive Learning被引用数 0

ひとこと要約

VizQStudio は、MLLM に基づくシミュレートされた学生を用いて講師が多モーダルなビジュアリゼーションリテラシーMCQ を反復的に設計できるビジュアル分析システムで、設計時のフィードバック、誤解の検出、および質問生成の洗練を可能にします。

ABSTRACT

Multiple-choice questions (MCQs) are a widely used educational tool, particularly in domains such as visualization literacy that require broad conceptual coverage and support diverse real-world applications. However, designing high-quality visualization literacy MCQs remains challenging, as instructors must coordinate multimodal elements (e.g., charts, question stems, and distractors), address diverse visualization tasks, and accommodate learners with heterogeneous backgrounds. Existing visualization literacy assessments primarily rely on standardized, fixed item banks, offering limited support for iterative question design that adapts to differences in learners' abilities, backgrounds, and reasoning strategies. To address these challenges, we present VizQStudio, a visual analytics system that supports instructors in iteratively designing and refining visualization literacy MCQs using MLLM-powered simulated students. Instructors can specify diverse student profiles spanning demographics, knowledge levels, and learning-related traits. The system then visualizes how simulated students reason about and respond to different question components, helping instructors explore potential misconceptions, difficulty calibration, and design trade-offs prior to classroom deployment. We investigate VizQStudio through a mixed-method evaluation, including expert interviews, case studies, a classroom deployment, and a large-scale online study. Overall, this work reframes MLLM-based student simulation in assessment authoring as a design-time, exploratory aid. By examining both its value and limitations in realistic instructional settings, we surface design insights that inform how future systems can support instructor-centered, iterative, and responsible uses of AI for multimodal assessment design in visualization literacy and related domains.

研究の動機と目的

• Visualization リテラシー MCQ とシミュレートされたフィードバックを設計する際の講師のニーズを特定する。
• AI ベースの学生シミュレーションで反復的 MCQ 設計をサポートするビジュアル分析ワークフローを提供する。
• 教室導入前に誤解、難易度の較正、設計上のトレードオフを探索できるようにする。
• 質問設計において多様な学習者プロファイルと認知要因を支援する。
• 専門家インタビュー、ケーススタディ、教室導入、オンライン研究を通じてシステムを評価する。

提案手法

• MCQ 設計と学生プロファイルの設計要件と特徴を導出するための formative study を用いる。
• 五つのパネル（Sample、Feature、Simulation、Agent Profile、Agent Setting）と Simulation View を備えた VizQStudio を開発する。
• プロフィール、クラスタリング、応答を生成するMLLMベースの学生シミュレーションモジュールを実装する。
• チャート生成のための D3.js テンプレートを用いたテンプレートベースの Retrieval-Augmented Generation パイプラインを採用する。
• シミュレーション経路のリアルタイムな視覚フィードバックと、反復的な洗練を導くグループレベル分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 Visualization 教育者が MCQ 設計とシミュレートされたフィードバックに関して持つ設計要件は何か。
• RQ2 AI 搭載のシミュレートされた学生モデルは、Visualization リテラシーにおける反復的かつ多モーダルな MCQ 設計にどのように情報を提供できるか。
• RQ3 VizQStudio は diverse learner profiles に跨る MCQ の設計時評価を効果的かつスケーラブルに可能にするか。
• RQ4 視覚化リテラシーの評価作成におけるMLLM の統合時の限界と設計上の考慮点は何か。

主な発見

• VizQStudio で設計された MCQ は、確立されたベンチマーク問題と同等の学習成果を支援する。
• システムは MCQ 設計プロセスにおける柔軟性とスケーラビリティを高める。
• シミュレートされた学生フィードバックは誤解を特定し、反復的な改良を知らせる。
• RAG 的 Retrieval のような D3.js テンプレートベースの生成は安定性とチャート品質を向上させる。
• 学生プロファイルとクラスタリングは、ターゲット質問の調整に役立つグループレベルの洞察を提供する。
• 設計時のシミュレーションは難易度、文脈、視覚エンコードのトレードオフを明確化する。