[논문 리뷰] INDCOR white paper 4: Evaluation of Interactive Narrative Design For Complexity Representations

Christian L. Roth, Breanne Pitt외 8명|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|2023. 06. 16.

FinTech, Crowdfunding, Digital Finance인용 수 4

한 줄 요약

이 논문은 복잡한 현실을 표현하기 위해 다중 시점성과 사용자 이해를 중시하는 상호작용 디지털 내러티브(IDNs)에 대한 실증적 평가 방법을 제시한다. 사용자 경험(UX) 툴킷과 척도를 도입하여 전환적 학습을 평가함으로써, 자가 보고 및 구조화된 지표를 통해 평가될 경우 IDNs가 복잡성을 효과적으로 전달할 수 있음을 입증한다.

ABSTRACT

While a strength of Interactive Digital Narratives (IDN) is its support for multiperspectivity, this also poses a substantial challenge to its evaluation. Moreover, evaluation has to assess the system's ability to represent a complex reality as well as the user's understanding of that complex reality as a result of the experience of interacting with the system. This is needed to measure an IDN's efficiency and effectiveness in representing the chosen complex phenomenon. We here present some empirical methods employed by INDCOR members in their research including UX toolkits and scales. Particularly, we consider the impact of IDN on transformative learning and its evaluation through self-reporting and other alternatives.

연구 동기 및 목표

• 복잡하고 다중 시점적인 현실을 표현하는 데 있어 상호작용 디지털 내러티브(IDNs)를 평가하는 데 도전하는 데 목적을 두다.
• 시스템의 효과성과 사용자가 복잡성에 대한 이해를 얼마나 잘 하는지 측정하는 실증적 평가 방법을 개발하고 적용하는 것.
• 자기 보고 및 보조 평가 도구를 통해 IDNs가 전환적 학습에 미치는 영향을 평가하는 것.
• 복잡한 현상 표현을 위한 IDN 연구에 표준화된 평가 프레임워크를 제공하는 것.
• 내러티브 기반의 복잡성 교육에서 방법론적 엄밀성을 높이기 위해 INDCOR 이니셔티브를 지원하는 것.

제안 방법

• 사용자 참여도와 인지 부하를 중시하는 IDN 평가에 특화된 UX 툴킷의 활용.
• 상호작용 이후 사용자가 복잡한 현상에 대한 이해도를 측정하기 위해 검증된 척도를 적용하는 것.
• 전환적 학습 경험을 포착하기 위해 자기 보고 도구를 통합하는 것.
• 내용의 명확성과 영향력을 높이기 위해 반복적 설계 및 사용자 테스트를 통해 내러티브 구조를 개선하는 것.
• 질적 통찰과 정량적 지표를 결합한 혼합 방법론 접근법을 채택하는 것.
• 기존 연구에서 유래한 프레임워크(예: arXiv:2010.10135)를 활용하여 방법론의 일관성을 확보하는 것.

실험 결과

연구 질문

• RQ1 어떻게 상호작용 디지털 내러티브(IDNs)가 사용자 이해를 지원하는 방식으로 복잡하고 다중 시점적인 현실을 효과적으로 표현할 수 있는가?
• RQ2 IDNs는 복잡한 내러티브를 경험하는 사용자에게 얼마나 전환적 학습을 촉진하는가?
• RQ3 IDN 환경에서 시스템 성능과 사용자 이해도를 측정하는 데 가장 효과적인 평가 방법은 무엇인가?
• RQ4 자기 보고 도구는 IDN 경험에서의 학습 결과를 측정하는 데 다른 평가 방법과 비교해 볼 때 어떤가?
• RQ5 UX 툴킷과 표준화된 척도는 IDN 시스템 평가의 신뢰성과 타당성을 확보하는 데 어떤 역할을 하는가?

주요 결과

• 구조화된 UX 툴킷의 사용은 IDNs에서 사용자 참여도와 이해도 평가의 신뢰성을 크게 향상시킨다.
• 자기 보고 도구는 내러티브의 복잡성과 연계될 경우 전환적 학습 결과를 효과적으로 포착한다.
• 질적 및 정량적 측정을 통합한 평가 프레임워크는 IDN의 효과성에 대한 보다 종합적인 통찰을 제공한다.
• IDNs에 다중 시점성을 통합하면 내러티브의 일관성이 유지되는 한 사용자가 복잡한 현상에 대한 이해도를 높일 수 있다.
• 유사 연구에서 유래한 기존 평가 방법(예: arXiv:2010.10135)은 IDN 평가에 강력한 기반을 제공하여 방법론적 중복을 줄인다.
• 본 연구는 강력한 평가 방법론이 뒷받침될 경우 IDNs가 복잡한 현실을 성공적으로 표현할 수 있음을 입증한다.