[논문 리뷰] Supporting Music Education through Visualizations of MIDI Recordings

Frank Heyen, Michael Sedlmair|arXiv (Cornell University)|2026. 03. 24.

Music and Audio Processing인용 수 0

한 줄 요약

본 논문은 리듬과 드럼 MIDI 기록의 오류를 분석하기 위해 다섯 가지 비교적 MIDI 시각화를 제안하여, 시청각 분석을 시각화로 보강함으로써 음악 학습을 지원하고, 인터랙티브 프로토타입에서의 질적 이점을 보고한다.

ABSTRACT

Musicians mostly have to rely on their ears when they want to analyze what they play, for example to detect errors. Since hearing is sequential, it is not possible to quickly grasp an overview over one or multiple recordings of a whole piece of music at once. We therefore propose various visualizations that allow analyzing errors and stylistic variance. Our current approach focuses on rhythm and uses MIDI data for simplicity.

연구 동기 및 목표

• 악기 생성 MIDI 데이터를 사용한 음악 교육 및 훈련을 위한 시각적 데이터 분석 동기를 부여한다.
• 녹음 간 비교(학생 대 정답 기준 또는 교사)로 오류 및 스타일 차이를 식별한다.
• 리듬 분석과 시간적 개요를 지원하기 위해 직관적이고 표기 기반의 시각 인코딩을 제공한다.
• 시각화가 여러 녹음과 서로 다른 드럼 구성 요소로 확장될 수 있도록 보장한다.
• 인터랙티브 탐색 및 향후 비교 연구를 위한 토대를 마련한다.

제안 방법

• MIDI 드럼 데이터에 대한 시각화를 개발하기 위해 디자인 연구 방법론과 행동 연구를 채택한다.
• 정답 기준 오버레이, 음표별 비교, 음높이당 밀도 추정, 시간 집계 뷰를 포함한 다섯 가지 시각 인코딩을 구현한다.
• 해석 및 시각화를 단순화하기 위해 데이터를 MIDI 음으로 표현한다(정답 기준 대 녹음).
• 오류 유형 표시를 위해 색상 코딩을 사용하고(빨강: 누락, 노랑: 초과, 초록: 올바름) 타이밍 오류를 나타내는 음영을 사용한다.
• 합성 재생 및 인터랙티브 프로토타입에서 선택, 연결/브러싱 등의 인터랙티브 기능을 제공한다.

실험 결과

연구 질문

• RQ1 비교적 MIDI 시각화가 학습자가 오류를 식별하고 연습을 안내하는 데 도움이 될 수 있는가?
• RQ2 음표별 및 구성 요소별 인코딩은 리듬 관련 오류와 양식 차이를 어떻게 드러낼 수 있는가?
• RQ3 다수의 녹음을 정답 기준과 비교하거나 드럼 구성 요소 간 비교할 때 어떤 시각화 전략이 확장 가능한가?
• RQ4 선택, 집계, 재생과 같은 어떤 상호작용이 이러한 시각화를 통해 효과적인 학습을 지원하는가?

주요 결과

• 질적 평가에 따르면 사용자가 시각 인코딩으로 청각 분석을 보강하는 것이 이익일 수 있다.
• 리듬 일관성과 오류를 분석하기 위해 드럼 MIDI 녹음을 다섯 가지 시각화 표현으로 제안한다.
• 인터랙티브 프로토타입은 합성 재생, 다중 인코딩, 연결/브러싱 및 부분 시퀀스 집계를 지원한다.
• 밀도 기반 인코딩과 정답 기준 오버레이 인코딩은 다수의 녹음을 확장 가능하게 비교하게 한다.
• 이 접근법은 현재 MIDI 중심이며 MIDI를 출력하는 악기에 대해 설계되었으며, 다른 MIDI 가능 악기로 확장할 계획이 있다.