[논문 리뷰] Framing Visual Musicology through Methodology Transfer

Matthias Miller, Hanna Schäfer외 4명|arXiv (Cornell University)|2019. 08. 21.

Music and Audio Processing참고 문헌 57인용 수 4

한 줄 요약

이 논문은 음악학과 시각 분석을 융합한 다학제적 분야인 '시각 음악학(Visual Musicology)'을 소개하며, 텍스트, 지리공간, 시계열, 고차원 데이터 분야에서 기존에 확립된 시각화 기법을 음악학적 문제 해결에 응용하기 위한 방법론 이행을 제안한다. 주요 기여는 이행 가능한 해결책을 식별하는 체계적 프레임워크로, 음악학자들과 시각화 연구자들 간의 협업 혁신을 가능하게 하며, 연구 격차와 향후 기회를 부각시킨다.

ABSTRACT

In this position paper, we frame the field of Visual Musicology by providing an overview of well-established musicological sub-domains and their corresponding analytic and visualization tasks. To foster collaborative, interdisciplinary research, we discuss relevant data and domain characteristics. We give a description of the problem space, as well as the design space of musicology and discuss how existing problem-design mappings or solutions from other fields can be transferred to musicology. We argue that, through methodology transfer, established methods can be exploited to solve current musicological problems and show exemplary mappings from analytics fields related to text, geospatial, time-series, and other high-dimensional data to musicology. Finally, we point out open challenges, discuss research gaps, and highlight future research opportunities.

연구 동기 및 목표

• 음악학과 시각 분석의 만남에서 발생하는 다학제적 연구 분야로서의 시각 음악학을 명확히 정의한다.
• 텍스트, 지리공간, 시계열, 고차원 데이터와 같은 다른 분야에서 기존의 시각화 솔루션을 음악학적 문제에 대응하여 식별하고 맵핑한다.
• 시각화 기법의 부족한 발전을 해결하기 위해 검증된 기법을 재사용하는 방법론 이행 모델(MTM)을 제안함으로써 음악학 분야의 시각화 기반 연구를 촉진한다.
• 시각 음악학 분야의 연구 격차와 열린 과제를 부각시켜 음악학자들과 시각화 전문가 간의 새로운 협업 연구를 촉진한다.
• 시각 분석이 대규모이고 다양한 음악학적 데이터셋에서 복잡한 패턴을 밝혀내는 데 음악학자들이 보다 효과적으로 기여할 수 있음을 입증한다.

제안 방법

• 텍스트비즈(TextVis)와 유사한 기존 프레임워크에 기반해 데이터 특성, 사용자 요구, 영역, 목표를 분석함으로써 시각 음악학의 문제 공간과 설계 공간을 정의한다.
• 텍스트, 지리공간, 시간적, 고차원 데이터 응용 분야에서의 데이터 유형, 분석 과제, 시각화 과제를 비교함으로써 음악학과 다른 분야 간의 유사성을 규명한다.
• 방법론 이행 모델(MTM)을 적용하여 비음악 분야의 기존 시각화 솔루션을 음악학적 사용 사례에 맵핑함으로써 재사용과 적응을 가능하게 한다.
• 텍스트, 시계열, 고차원 데이터 분석에서 유래한 시각화 기법이 음악학적 문제에 어떻게 적용될 수 있는지 보여주는 세 가지 대표적 사례를 제시한다.
• 음악학적 요구가 시각화 방법의 적응을 이끄는 도메인 중심 설계를 강조함으로써, 방법론을 부적합한 맥락에 강제로 적용하는 것을 방지한다.
• 음악학자들을 도메인 전문가로, 시각화 연구자들을 방법론적 파트너로 위치시킴으로써 협업을 장려하고, 새로운 도구의 공동 창출을 촉진한다.

실험 결과

연구 질문

• RQ1 텍스트, 지리공간, 시계열, 고차원 데이터와 같은 잘 정립된 분야에서 유래한 시각화 기법은 어떻게 음악학적 연구 문제에 의미 있게 이행될 수 있는가?
• RQ2 데이터, 사용자, 분석 목표 측면에서 음악학의 문제 공간과 다른 시각화 분야의 문제 공간 간의 핵심 유사점과 차이점은 무엇인가?
• RQ3 음악적 구조 분석, 감정, 연주 제스처와 같은 음악학적 과제에 가장 쉽게 적응 가능한 기존 분야의 시각화 솔루션은 무엇인가?
• RQ4 직접 이행으로 해결할 수 없는 주요 연구 격차는 무엇이며, 이에 따라 새로운 시각화 기법이 반드시 필요로 하는 분야는 어디인가?
• RQ5 음악학자들과 시각화 연구자들 간의 협업은 어떻게 구성되어야 하며, 상호 이득과 혁신을 극대화할 수 있는가?

주요 결과

• 음악학 분야의 시각 음악학은 데이터 가용성 증가와 복잡한 분석 요구에도 불구하고 다른 분야에 비해 여전히 부족한 수준의 전용 시각화 연구를 보이고 있다.
• 텍스트, 지리공간, 시계열, 고차원 데이터 분야에서 기존에 확립된 시각화 기법은 음악학적 문제에 의미 있게 이행될 수 있으며, 즉각적인 혁신의 길을 열어준다.
• 방법론 이행은 시각화 분야에서 수십 년간 축적된 연구 성과를 활용할 수 있게 하여, 음악학 분야의 반복적 개발을 줄이고 진전을 가속화한다.
• 시각 분석의 통합은 성능 제스처, 감정 반응, 대규모 음악 컬렉션과 같은 복잡한 데이터셋을 탐색하고 해석하는 데 음악학자들의 능력을 크게 향상시킬 수 있다.
• 제안된 MTM 프레임워크는 신체적 음악 인지 및 다중모달 음악 데이터 분야에서 새로운 시각화 기법이 반드시 필요로 하는 특정 연구 격차를 식별한다.
• 음악학자들과 시각화 연구자들 간의 협업은 유익할 뿐 아니라, 양 분야의 발전을 위해 필수적이다. 음악학은 독특하고 복잡한 문제를 제공하고, 시각화 연구는 검증된 방법론 도구를 제공한다.