[论文解读] INDCOR white paper 4: Evaluation of Interactive Narrative Design For Complexity Representations

Christian L. Roth, Breanne Pitt+8 more|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|Jun 16, 2023

FinTech, Crowdfunding, Digital Finance被引用 4

一句话总结

本文提出了用于评估互动数字叙事（IDNs）的实证方法，旨在有效呈现复杂现实，重点关注多重视角与用户理解。研究引入了用户体验（UX）工具包与量表，以评估转化性学习，证明当通过自我报告与结构化指标进行评估时，IDNs 能够有效传达复杂性。

ABSTRACT

While a strength of Interactive Digital Narratives (IDN) is its support for multiperspectivity, this also poses a substantial challenge to its evaluation. Moreover, evaluation has to assess the system's ability to represent a complex reality as well as the user's understanding of that complex reality as a result of the experience of interacting with the system. This is needed to measure an IDN's efficiency and effectiveness in representing the chosen complex phenomenon. We here present some empirical methods employed by INDCOR members in their research including UX toolkits and scales. Particularly, we consider the impact of IDN on transformative learning and its evaluation through self-reporting and other alternatives.

研究动机与目标

• 解决评估互动数字叙事（IDNs）在呈现复杂、多重视角现实方面的挑战。
• 开发并应用实证评估方法，以衡量系统有效性与用户对复杂性的理解程度。
• 通过自我报告与替代评估工具，评估 IDNs 对转化性学习的影响。
• 为 IDN 研究在复杂现象呈现方面提供标准化评估框架。
• 支持 INDCOR 计划，推动基于叙事的复杂性教育方法论严谨性。

提出的方法

• 采用专为 IDN 评估设计的用户体验（UX）工具包，重点关注用户参与度与认知负荷。
• 应用经过验证的量表，测量用户在互动后对复杂现象的理解程度。
• 整合自我报告工具，以捕捉转化性学习体验。
• 通过迭代设计与用户测试，优化叙事结构以提升清晰度与影响力。
• 采用混合方法，结合定性洞察与定量指标。
• 借鉴先前研究中的既有框架（例如，arXiv:2010.10135），以确保方法论的一致性。

实验结果

研究问题

• RQ1 互动数字叙事（IDNs）如何以支持用户理解的方式有效呈现复杂、多重视角的现实？
• RQ2 IDNs 在多大程度上促进用户在接触复杂叙事时的转化性学习？
• RQ3 在 IDN 环境中，哪些评估方法最有效地衡量系统性能与用户理解？
• RQ4 自我报告工具与其它评估方法相比，在捕捉 IDN 经验学习成果方面表现如何？
• RQ5 UX 工具包与标准化量表在确保 IDN 系统评估的可靠性与有效性方面发挥何种作用？

主要发现

• 结构化 UX 工具包的使用显著提高了评估 IDN 中用户参与度与理解力的可靠性。
• 自我报告工具能有效捕捉转化性学习成果，尤其当与叙事复杂性相一致时。
• 结合定性与定量测量的评估框架，能更全面地揭示 IDN 有效性的洞察。
• 在 IDNs 中整合多重视角可增强用户对复杂现象的理解，前提是保持叙事连贯性。
• 现有相关研究的评估方法（例如，arXiv:2010.10135）为 IDN 评估提供了坚实基础，减少了方法论上的重复。
• 本研究证明，当辅以稳健的评估方法论时，IDNs 能够成功呈现复杂现实。