[논문 리뷰] A design science exploration of a visual-spatial learning system with feedback

Kirsten Ellis, Julie Fisher외 2명|arXiv (Cornell University)|2016. 06. 11.

Usability and User Interface Design참고 문헌 14인용 수 4

한 줄 요약

이 논문은 실시간 피드백을 제공하는 키넥트 기반의 시각-공간 학습 시스템을 개발하기 위한 디자인 과학 접근법을 제시한다. 이 시스템은 3차원 운동 추적과 적응형 피드백 메커니즘을 활용하여 신체적 수어 자세 학습의 참여도와 정확도를 향상시키며, 기존 수어 학습 도구에서 실시간 오류 수정이 부족한 점을 보완하는 혁신적인 솔루션을 제공한다.

ABSTRACT

Our paper is research in progress that is research investigating the use of games technology to enhance the learning of a physical skill. The Microsoft Kinect is a system designed for gaming with the capability to track the movement of users. Our research explored whether such a system could be used to provide feedback when teaching sign vocabulary. Whilst there are technologies available for teaching sign language, currently none provide feedback on the accuracy of the users' attempts at making signs. In this paper we report how the three-dimensional dsplay capability of the technology can enhance the users' experience. Also, when using tracking to identify errors in physical movements, how and when should feedback be given. A design science approach was undertaken to find a solution to this real world problem. The design and implementation of the solution provides interesting insights into how technology can not only emulate but also improve upon traditional learning of physical skills.

연구 동기 및 목표

• 게임 기술인 마이크로소프트 키넥트가 신체 기술 학습 중 실시간 피드백을 제공하는 데 어떻게 활용될 수 있는지 조사하기 위해.
• 기존 수어 학습 도구에서 사용자 수어 제작의 정확도에 대한 피드백이 부족한 점을 보완하기 위해.
• 시각-공간 피드백과 운동 추적을 통해 학습 경험을 향상시키는 피드백 시스템을 설계하고 구현하기 위해.
• 디자인 과학 방법론을 활용하여 신체 기술 습득 과정에서 피드백의 최적 시기와 제공 방식을 탐색하기 위해.
• 기술이 전통적인 수어 학습 방법을 모방할 뿐 아니라 이를 뛰어넘을 수 있는지 평가하기 위해.

제안 방법

• 반복적인 개발과 개선을 통해 학습 시스템을 구축하기 위해 디자인 과학 연구 접근법을 사용하였다.
• 사용자가 수어 제스처를 수행하는 동안 3차원 운동 데이터를 캡처하기 위해 마이크로소프트 키넥트를 사용하였다.
• 손과 신체 위치의 공간 추적을 통해 실시간으로 운동 정확도를 분석하였다.
• 정확한 수어 제스처 형성 기준에 따라 피드백을 제공하였으며, 학습에 최적화된 시기와 방식으로 조정하였다.
• 사용자 테스트와 참가자 상호작용 기반의 반복적 개선을 포함한 설계 과정이 수반되었다.
• 사용자의 움직임을 정확한 수어 모델과 일치시키는 데 도움이 되는 시각-공간 피드백을 사용하였다.

실험 결과

연구 질문

• RQ1 3차원 운동 추적 기술은 수어 학습 중 실시간 피드백을 효과적으로 제공하는 데 어떻게 활용될 수 있는가?
• RQ2 신체 기술 습득 과정에서 학습 결과를 향상시키기 위해 피드백의 최적 시기와 제공 방식은 무엇인가?
• RQ3 기술 기반 시스템은 전통적인 수어 지도 방식을 어떻게 향상시키거나 뛰어넘을 수 있는가?
• RQ4 시각-공간 피드백은 수어 제작의 참여도와 정확도에 어떤 영향을 미치는가?
• RQ5 게임 기술을 활용한 신체 기술 학습을 위한 피드백 시스템 개발 과정에서 도출되는 설계 원칙은 무엇인가?

주요 결과

• 키넥트 기반 시스템은 3차원 운동 추적을 활용하여 수어 제스처의 정확도에 대한 실시간 피드백을 성공적으로 제공하였다.
• 사용자들은 즉각적인 시각-공간 피드백 덕분에 참여도가 향상되고 학습 효과가 높다고 느꼈다.
• 시스템은 기술이 객관적이고 일관된 피드백을 제공함으로써 전통적인 수어 학습 방식을 뛰어넘을 수 있음을 입증하였다.
• 최적의 피드백 시기는 즉각적이지만 과도하지 않은 것으로 밝혀졌으며, 사용자는 간결하고 집중된 신호에 가장 잘 반응하였다.
• 디자인 과학 접근법을 통해 피드백 제공 방식, 사용자 경험, 물리적 기술 학습 환경에서의 시스템 유연성에 대한 실질적인 통찰을 도출할 수 있었다.
• 본 연구는 운동 추적 시스템이 게임 외 교육적 응용 분야로도 효과적으로 재활용될 수 있음을 확인하였다.