[논문 리뷰] Analyzing Visual Mappings of Traditional and Alternative Music Notation

Matthias Miller, Jonas Häußler외 3명|arXiv (Cornell University)|2018. 10. 25.

Music Technology and Sound Studies인용 수 5

한 줄 요약

이 논문은 정보 시각화 원칙과 음악 표기법 설계를 융합하여 작업별로 특화된 음악 표기법을 분석하고 생성하는 구조적 시각화 파이프라인을 제안한다. 게스트랄 법칙과 시각화 채널을 활용해 음악적 특징을 시각적 변수로 매핑함으로써, 전통적 및 보조적 표기법 간의 체계적 비교와 혁신을 가능하게 하며, 설계적 격차와 다양한 사용자 및 작업에 맞는 맞춤형 시스템의 기회를 드러낸다.

ABSTRACT

In this paper, we postulate that combining the domains of information visualization and music studies paves the ground for a more structured analysis of the design space of music notation, enabling the creation of alternative music notations that are tailored to different users and their tasks. Hence, we discuss the instantiation of a design and visualization pipeline for music notation that follows a structured approach, based on the fundamental concepts of information and data visualization. This enables practitioners and researchers of digital humanities and information visualization, alike, to conceptualize, create, and analyze novel music notation methods. Based on the analysis of relevant stakeholders and their usage of music notation as a mean of communication, we identify a set of relevant features typically encoded in different annotations and encodings, as used by interpreters, performers, and readers of music. We analyze the visual mappings of musical dimensions for varying notation methods to highlight gaps and frequent usages of encodings, visual channels, and Gestalt laws. This detailed analysis leads us to the conclusion that such an under-researched area in information visualization holds the potential for fundamental research. This paper discusses possible research opportunities, open challenges, and arguments that can be pursued in the process of analyzing, improving, or rethinking existing music notation systems and techniques.

연구 동기 및 목표

• 정보 시각화와 음악 연구를 융합하여 음악 표기법 설계의 체계적 분석을 가능하게 하기 위해.
• 전통적 및 보조적 표기법에서 음악적 특징의 시각적 매핑을 식별하고 분류하기 위해.
• 신규 음악 표기법 시스템의 생성과 평가를 지원하는 재사용 가능한 설계 파이프라인을 개발하기 위해.
• 비전문가 사용자(예: 독독증 환자)를 위한 전통적 음악 표기법의 한계를 해결하기 위해.
• 현대 시각화 기법(예: 색상, 운동, 기호)이 역사적 제약을 초월해 음악적 표현을 향상시킬 수 있는 방법을 탐색하기 위해.

제안 방법

• 저자는 정보 시각화 원칙을 활용하여 음악적 차원(예: 음고, 지속시간, 다이내믹스)을 시각적 변수(예: 위치, 색상, 형태)로 매핑하는 시각화 파이프라인을 정의한다.
• 시각적 채널을 지각적 및 의미적 유형으로 분류하며, 맥락 정보를 위한 위치, 색상, 크기, 텍스트 주석을 포함한다.
• 게스트랄 법칙(예: 근접성, 유사성)을 적용하여 음악적 관계의 효과적인 시각적 인코딩을 이끈다.
• 주요 음악적 특징을 기준으로 15종의 음악 표기법을 비교 분석함으로써 방법론을 검증한다.
• 시각적 인코딩을 특정 사용자 작업과 지각 목표에 맞추어 기존 표기법을 역공학적으로 분석하거나 새로운 표기법을 설계하는 데 지원한다.
• 프레임워크는 확장 가능하여 향후 차수나 톤 품질 특징과 같은 추가적인 음악적 차원을 포함할 수 있다.

실험 결과

연구 질문

• RQ1 정보 시각화 원칙은 어떻게 음악 표기법의 설계 및 분석에 체계적으로 적용될 수 있는가?
• RQ2 전통적 및 보조적 음악 표기법에서 음악적 차원을 인코딩하기 위해 주로 사용되는 시각적 매핑은 무엇인가?
• RQ3 현재의 표기법은 색상, 운동, 상호작용 요소와 같은 현대 시각화 기법을 얼마나 효율적으로 활용하고 있는가?
• RQ4 학습자나 독독증 독자와 같은 특정 사용자 그룹을 위해 어떻게 시각적 설계 선택을 최적화할 수 있는가?
• RQ5 다양한 음악 표기법 시스템 간의 시각적 인코딩 비교에서 도출되는 설계 지침은 무엇인가?

주요 결과

• 분석 결과, 표준화된 전통적 음악 표기법은 현대 시각화 채널인 색상과 운동을 자주 활용하지 않아 접근성과 이해도 향상에 기여할 수 있음이 드러났다.
• 독독증 환자는 음고 기반 외의 시각적 단서(예: 색상 배경, 공간 배치)를 통해 음고를 더 효과적으로 구분할 수 있는 보조 표기법에서 유의미한 이점을 얻는다.
• 템포, 다이내믹스, 악기 정보를 위한 텍스트 주석 등 의미적 채널은 자주 사용되지만, 표기법 간 일관성이 떨어져 해석의 어려움을 야기한다.
• 차수 구조에 대한 표준화된 시각적 인코딩이 부족하며, 거의 모든 시스템이 차수를 시각적 변수로 직접 매핑하지 않아 설계 격차가 존재함을 확인했다.
• 제안된 시각화 파이프라인은 체계적 비교 및 표기법 설계를 가능하게 하여, 특정 작업(예: 연주, 고수준 음악 분석)에 더 효과적인 일부 시각적 매핑이 있음을 드러냈다.
• 프레임워크는 현대 시각화 기법을 활용해 목표 사용자에게 명확성과 인지 부하 감소를 향상시키는 작업 중심의 표기법을 만들 수 있음을 입증했다.