[論文レビュー] INDCOR white paper 4: Evaluation of Interactive Narrative Design For Complexity Representations

Christian L. Roth, Breanne Pitt+8 more|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|Jun 16, 2023

FinTech, Crowdfunding, Digital Finance被引用数 4

ひとこと要約

本論文は、複雑な現実を表現することを目的としたインタラクティブ・デジタル・ナラティブ（IDNs）の実証的評価手法を提示し、複数の視点とユーザーの理解を重視している。トランスフォーマティブ・ラーニングを評価するためのUXツールキットとスケールを導入し、自己報告と構造化された指標を用いた評価によって、IDNsが複雑性を効果的に伝えることができるということが示された。

ABSTRACT

While a strength of Interactive Digital Narratives (IDN) is its support for multiperspectivity, this also poses a substantial challenge to its evaluation. Moreover, evaluation has to assess the system's ability to represent a complex reality as well as the user's understanding of that complex reality as a result of the experience of interacting with the system. This is needed to measure an IDN's efficiency and effectiveness in representing the chosen complex phenomenon. We here present some empirical methods employed by INDCOR members in their research including UX toolkits and scales. Particularly, we consider the impact of IDN on transformative learning and its evaluation through self-reporting and other alternatives.

研究の動機と目的

• 複雑で多視点的な現実を表現するインタラクティブ・デジタル・ナラティブ（IDNs）の評価の課題に対処すること。
• システムの効果性とユーザーの複雑性理解の両方を測定する、実証的な評価手法を開発・適用すること。
• 自己報告と代替評価ツールを用いて、IDNsがトランスフォーマティブ・ラーニングに与える影響を評価すること。
• 複雑な現象の表現におけるIDN研究のための標準化された評価フレームワークを提供すること。
• ナラティブベースの複雑性教育のための方法論的厳密性を高めるために、INDCORイニシアチブを支援すること。

提案手法

• ユーザー参加度と認知的負荷に焦点を当てた、IDN評価に特化したUXツールキットの活用。
• インタラクション後のユーザーによる複雑現象の理解度を測定するための妥当性が確認されたスケールの適用。
• トランスフォーマティブ・ラーニング体験を捉えるために自己報告インSTRUMENTの統合。
• ナラティブ構造の明瞭さとインパactsを高めるために、反復的デザインとユーザーテストの活用。
• 定性的な知見と定量的指標を組み合わせた、混合手法アプローチの採用。
• 方法論的一致性を確保するため、先行研究（例：arXiv:2010.10135）の既存フレームワークの活用。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてインタラクティブ・デジタル・ナラティブ（IDNs）が、ユーザー理解を支援する形で、複雑で多視点的な現実を効果的に表現できるか？
• RQ2 IDNsは、複雑なナラティブに参加するユーザーに対して、どの程度トランスフォーマティブ・ラーニングを促進するか？
• RQ3 IDNの文脈において、システムのパフォーマンスとユーザー理解の両方を測定するのに最も効果的な評価手法は何か？
• RQ4 自己報告ツールは、IDN体験からの学習成果を捉えるために、他の評価手法と比較してどの程度優れているか？
• RQ5 UXツールキットと標準化されたスケールは、IDNシステムの信頼性と妥当性のある評価を確保するために、どのような役割を果たすか？

主な発見

• 構造化されたUXツールキットの使用は、IDNsにおけるユーザー参加度と理解度の評価の信頼性を著しく向上させる。
• 自己報告インSTRUMENTは、ナラティブの複雑性と整合している場合、トランスフォーマティブ・ラーニングの成果を効果的に捉えることができる。
• 定性的な測定と定量的測定を組み合わせた評価フレームワークは、IDNの有効性に関する包括的な洞察をもたらす。
• IDNsに複数の視点を統合することで、ナラティブの一貫性が保たれていれば、ユーザーの複雑現象理解が向上する。
• 関連研究から得られた既存の評価手法（例：arXiv:2010.10135）は、IDN評価の強固な基盤を提供しており、方法論の重複を低減する。
• 本研究は、堅牢な評価手法が支援されることで、IDNsが複雑な現実を効果的に表現できることを示している。