[논문 리뷰] Towards Anatomy Education with Generative AI-based Virtual Assistants in Immersive Virtual Reality Environments

Vuthea Chheang, Shayla Sharmin외 8명|arXiv (Cornell University)|2023. 06. 29.

Artificial Intelligence in Healthcare and Education인용 수 12

한 줄 요약

본 연구는 생성 AI를 구현한 구체화된 가상 도우미를 갖춘 VR 해부학 교육 환경(아바타 대 화면)을 제시하고, 16명의 참가자를 대상으로 두 가지 인지 복잡도 수준에서 사용자 수행, 사용성, 존재감을 평가하는 파일럿 연구이다.

ABSTRACT

Virtual reality (VR) and interactive 3D visualization systems have enhanced educational experiences and environments, particularly in complicated subjects such as anatomy education. VR-based systems surpass the potential limitations of traditional training approaches in facilitating interactive engagement among students. However, research on embodied virtual assistants that leverage generative artificial intelligence (AI) and verbal communication in the anatomy education context is underrepresented. In this work, we introduce a VR environment with a generative AI-embodied virtual assistant to support participants in responding to varying cognitive complexity anatomy questions and enable verbal communication. We assessed the technical efficacy and usability of the proposed environment in a pilot user study with 16 participants. We conducted a within-subject design for virtual assistant configuration (avatar- and screen-based), with two levels of cognitive complexity (knowledge- and analysis-based). The results reveal a significant difference in the scores obtained from knowledge- and analysis-based questions in relation to avatar configuration. Moreover, results provide insights into usability, cognitive task load, and the sense of presence in the proposed virtual assistant configurations. Our environment and results of the pilot study offer potential benefits and future research directions beyond medical education, using generative AI and embodied virtual agents as customized virtual conversational assistants.

연구 동기 및 목표

• 생성 AI를 구현된 VR과 결합하여 구두 상호작용과 적응형 질문을 지원함으로써 해부학 교육을 향상시키는 것.
• 다른 인지 복잡도에서 VR 내 아바타- 및 화면 기반 AI 보조기의 기술적 효능 및 사용성을 평가.
• 동일 피험자 설계에서 사용성, 작업 부하, 존재감 등의 사용자 경험 지표와 수행을 평가.
• AI-기반 VR 해부학 교육의 이점, 한계 및 향후 연구 방향을 식별.

제안 방법

• ChatGPT-3.5 기반의 구현형 가상 도우미를 갖춘 Unity 기반의 몰입형 VR 해부학 환경을 개발했다.
• 참가자 내 설계에서 두 가지 상호작용 구성(입술이 싱크된 음성 아바타 대 텍스트 전용 화면)을 비교했다.
• 질문에 대해 두 가지 인지 수준(Bloom의 분류 체계의 지식 기반 및 분석 기반)을 구현했다.
• 객관적 수행 데이터(작업 완료 시간, 상호작용 횟수, 점수)와 주관적 지표(SUS, NASA TLX, IPQ)를 수집했다.
• 구성, 인지 수준, 상호작용 효과를 평가하기 위해 이원배치 분산분석(two-way ANOVA)으로 데이터를 분석했다.

Figure 1 : System architecture of our proposed VR environment with the generative AI-based embodied virtual assistant.

실험 결과

연구 질문

• RQ1 RQ1 아바타 기반과 화면 기반 가상 보조 구성은 해부학 교육에서 사용자 수행에 어떤 영향을 미치는가?
• RQ2 RQ2 주관적 지표(사용성, 작업 부하, 존재감)가 가상 보조 구성과 어떤 관계가 있는가?
• RQ3 RQ3 해부학 교육을 위한 생성 AI 사용의 장점, 한계 및 가능한 연구 방향은 무엇인가?

주요 결과

변수	작업 완료 시간 (초)	상호작용 횟수	점수
아바타 합계	159.23 (149.25) [26.38]	5.96 (11.87) [2.10]	0.59 (0.49) [0.08]
Knowledge-based (Avatar)	117.74 (72.61) [18.15]	5.31 (11.22) [2.80]	0.75 (0.44) [0.11]
Analysis-based (Avatar)	200.72 (192.59) [48.14]	6.62 (12.83) [3.20]	0.43 (0.51) [0.12]
Screen Total	159.06 (152.94) [27.03]	3.65 (2.74) [0.48]	0.50 (0.50) [0.09]
Knowledge-based (Screen)	177.50 (200.57) [50.14]	4.31 (3.36) [0.84]	0.56 (0.51) [0.12]
Analysis-based (Screen)	140.62 (85.96) [21.49]	3.00 (1.82) [0.45]	0.43 (0.51) [0.12]

• 아바타 구성은 전반적으로 더 높은 점수를 얻었고 지식 기반 질문과 분석 기반 질문 간의 변동성이 더 컸다(인지 수준에서 아바타 내부의 유의미한 차이, F(1,15)=4.62, p=0.046, ηp2=0.07).
• 지식 기반 질문은 아바타 구성에서 분석 기반 질문보다 더 빠르게 응답되었고 상호작용 횟수도 더 적어 인지적 복잡성 효과를 시사한다.
• 사용성은 두 구성 모두에서 높았고(아바타 SUS 75.16, 화면 SUS 76.72), 구성 간 유의미한 차이가 없었다.
• 작업 부하는 구성 간에 유의미한 차이가 없었으며, 두 구성 모두에서 정신적 요구가 가장 높은 차원으로 나타났다.
• 존재감 점수는 구성 간에 유사했고 IPQ 결과에서 유의미한 차이가 없었다.
• 정성적 피드백은 아바타 대 화면에 대해 엇갈린 선호를 나타냈으며, 음성 동기화 개선 및 질문 문구 전략에 대한 일부 요청이 있었다.

Figure 2 : Overview of the study procedure. The order of the conditions (marked with ∗ ) was counterbalanced.