[논문 리뷰] Supporting Musical Practice Sessions Through HMD-Based Augmented Reality

Karola Marky, Andreas Weiß외 1명|arXiv (Cornell University)|2019. 01. 01.

Augmented Reality Applications인용 수 9

한 줄 요약

이 논문은 초보자에게 실시간으로 즉각적인 지침을 제공할 수 있는 부족한 점을 보완하기 위해 실시간 시각적, 청각적, 촉각적 피드백을 제공하는 모듈식 HMD 기반 증강현실 시스템을 제안한다. 기존 HMD 하드웨어를 활용해 자세 추적과 연주 피드백을 수행함으로써 개인화되고 적응 가능한 보조 기능을 제공하여 부상 위험을 줄이고 학습 효율성을 향상시킨다.

ABSTRACT

Learning a musical instrument requires a lot of practice, which ideally, should be done every day. During practice sessions, students are on their own in the overwhelming majority of the time, but access to experts that support students "just-in-time" is limited. Therefore, students commonly do not receive any feedback during their practice sessions. Adequate feedback, especially for beginners, is highly important for three particular reasons: (1) preventing the acquirement of wrong motions, (2) avoiding frustration due to a steep learning curve, and (3) potential health problems that arise from straining muscles or joints harmfully. In this paper, we envision the usage of head-mounted displays as assistance modality to support musical instrument learning. We propose a modular concept for several assistance modes to help students during their practice sessions. Finally, we discuss hardware requirements and implementations to realize the proposed concepts.

연구 동기 및 목표

• 독립적인 음악 연주 훈련 세션 동안 실시간으로 즉각적인 피드백이 부족한 문제를 해결하기 위해.
• 즉각적인 수정 피드백을 통해 초보자에서 잘못된 운동 학습과 신체적 긴장의 위험을 줄이기 위해.
• 기존 HMD 기술을 활용해 개인화된 학습을 위한 모듈식이고 유연한 AR 보조 시스템을 개발하기 위해.

제안 방법

• 학생의 움직임을 실시간으로 모니터링하기 위해 내장된 손가락 및 자세 추적 기능을 갖춘 HMD를 사용한다.
• 시각적 신호, 메트로놈, 학습 모드, 추적 모드, 연주 피드백 등 다양한 보조 모드를 구현한다.
• 자세나 연주 정확도에 따라 시각적 강조, 청각적 신호 또는 촉각적 진동을 통해 피드백을 제공한다.
• 실시간 보조 기능과 기록된 연주를 활용한 세션 후 검토를 모두 지원한다.
• 인터페이스 제어 및 세부 피드백 시각화를 위해 스마트폰과 같은 보조 장치와 HMD를 조합한다.
• 다양한 학습 필요와 음악의 복잡성에 맞게 유연하게 조합 가능한 모듈식 시스템을 설계한다.

실험 결과

연구 질문

• RQ1 HMD 기반 AR 시스템은 독립적인 음악 연주 훈련 세션 동안 어떻게 효과적으로 실시간 피드백을 제공할 수 있는가?
• RQ2 초보자 음악가의 자세와 연주를 수정하는 데 있어 어떤 피드백 방식(시각적, 청각적, 촉각적)이 가장 효과적인가?
• RQ3 AR 보조 기능은 어떻게 모듈식으로 조합하여 음악 학습의 다양한 단계와 난이도 수준을 지원할 수 있는가?

주요 결과

• 제안된 HMD 기반 AR 시스템은 자세와 연주에 대해 실시간으로 개인화된 피드백을 제공하여 잘못된 운동 학습과 신체적 긴장의 위험을 줄인다.
• 기존의 HMD 하드웨어, 예를 들어 Microsoft HoloLens 2는 추가 센서 없이도 정밀한 손가락 및 자세 추적을 지원한다.
• 사용자 선호도와 주의 부담에 따라 시각적, 청각적, 촉각적 피드백 채널를 선택적으로 사용할 수 있어 사용성 향상에 기여한다.
• 시각적 신호와 메트로놈을 조합하는 등의 모드 조합은 연주 시 리듬 정확도와 유창성을 향상시킬 수 있다.
• 기록된 연주 비교를 통한 세션 후 피드백은 반성적 학습을 가능하게 하여 장기적인 기술 발달을 지원한다.
• HMD와 보조 장치의 통합은 구성 및 세부 피드백 검토를 위한 확장 가능하고 사용자 友好的한 인터페이스를 제공한다.