[논문 리뷰] Music Performance Analysis: A Survey

Alexander Lerch, Claire Arthur외 2명|arXiv (Cornell University)|2019. 06. 29.

Music and Audio Processing참고 문헌 96인용 수 21

한 줄 요약

이 종합 검토는 음악정보검색(MIR) 분야 내에서 핵심적이지만 아직 탐색되지 않은 분야로 음악성악분석(MPA)을 종합적으로 다루며, 음악적 스코어와 연주 실현 간의 차이를 강조한다. 음악 이해, 추천, 교육, 생성 모델 향상의 목적으로 속도 변화, 음량, 톤의 변화, 톤의 선택과 같은 연주 매개변수를 MIR 시스템에 통합할 것을 주장하며, 스코어와 연주를 분리하여 정확성과 해석 가능성 향상을 위한 강력하고 데이터 기반이며 해석 가능한 방법의 필요성을 부각시킨다.

ABSTRACT

Music Information Retrieval (MIR) tends to focus on the analysis of audio signals. Often, a single music recording is used as representative of a "song" even though different performances of the same song may reveal different properties. A performance is distinct in many ways from a (arguably more abstract) representation of a "song," "piece," or musical score. The characteristics of the (recorded) performance -- as opposed to the score or musical idea -- can have a major impact on how a listener perceives music. The analysis of music performance, however, has been traditionally only a peripheral topic for the MIR research community. This paper surveys the field of Music Performance Analysis (MPA) from various perspectives, discusses its significance to the field of MIR, and points out opportunities for future research in this field.

연구 동기 및 목표

• 음악성악분석(MPA)이 음악 인지와 미학적 경험의 핵심임에도 불구하고 음악정보검색(MIR) 공동체 내에서 역사적으로 소외된 상태임에도 불구하고 이를 해결하고자 한다.
• 음악 스코어(추상적 표현)와 연주(음향적 실현) 간의 차이를 명확히 하며, 연주 매개변수가 청취자 인지에 크게 기여한다는 점을 강조하고자 한다.
• MPA의 핵심 과제를 규명하고자 하며, 수동 주석 의존, MIR 과제에서 스코어와 연주 간 분리 부족, 강력한 모델링을 위한 충분한 데이터 부족을 포함한다.
• MIR, 음악인지, 경험적 음악학의 교차 분야 통합을 통해 음악 교육, 추천, 생성 모델링 분야에서 성악 인식 기반 시스템을 발전시키고자 한다.
• 스코어 콘텐츠와 표현적 연주 변형을 구분할 수 있는 해석 가능하고 데이터 효율적이며 성악 인식 기반의 MIR 알고리즘 개발을 촉진하고자 한다.

제안 방법

• 음향 분석, 연주자 특성, 청취자 인지 분야에서의 MPA 연구에 대한 체계적 종합 검토로, 경험적 연구 및 MIR 컫런스 논문을 기반으로 한다.
• 속도/시간, 음량, 톤(예: 진동, 정확도), 톤의 질감(예: 발음, 음역)으로 나누어진 연주 매개변수의 분류 및 장르에 관계없이 적용 가능한 사례와 장르별 사례 제시.
• 1930년대(예: 시샤우의 진동 분석)에서 현대의 기계학습 및 딥러닝 기반 음향 기반 MPA에 이르기까지 역사적 MPA 접근법 검토.
• 이식 학습과 엔드 투 엔드 신경망을 연주 모델링에 적용하며, 평가 및 피드백 시스템의 해석 가능성에 중점을 둔다.
• 음악 튜터링 소프트웨어(예: SmartMusic, Yousician)와 같은 실용적 맥락에서의 MPA 평가로, 오디오 분석 기반의 타이밍, 음량, 정확도 피드백을 분석한다.
• MIR 시스템이 스코어 기반 콘텐츠와 연주 기반 표현성을 명시적으로 모델링하고 분리함으로써 정확성과 해석 가능성 향상을 도모할 것을 촉구한다.

실험 결과

연구 질문

• RQ1 속도 변화, 음량, 톤의 변화, 톤의 선택과 같은 연주 매개변수가 청취자 인지와 미학적 판단에 어떻게 영향을 미치는가?
• RQ2 음악 경험과 인지의 핵심 요소임에도 불구하고 음악정보검색(MIR) 연구에서 음악성악분석(MPA)이 왜 여전히 부차적인 위치에 머물러 있는가?
• RQ3 현재의 MIR 시스템이 스코어 수준의 콘텐츠와 연주 수준의 표현성을 어느 정도 혼동하고 있으며, 이로 인해 알고리즘 성능과 해석 가능성에 어떤 영향을 미치는가?
• RQ4 MPA는 어떻게 MIR 파이프라인에 체계적으로 통합되어 음악 추천, 정서 인식, 생성 모델링 향상에 기여할 수 있는가?
• RQ5 강력하고 자동화되며 해석 가능한 성악 분석 시스템 개발을 저해하는 방법론적 및 데이터 과제는 무엇이며, 이를 어떻게 해결할 수 있는가?

주요 결과

• 마이크로 타이밍, 표현적 음량, 진동, 톤의 변화와 같은 연주 매개변수가 음악 스코어가 그대로여도 청취자 인지에 크게 기여한다.
• 음악 경험에서 연주가 핵심임에도 불구하고, ISMIR 논문 중 약 1% 정도만이 명시적으로 연주를 다루며, 이는 MIR 연구에서 MPA가 소외되어 있음을 시사한다.
• 음악 텍스트화, 장르 분류와 같은 핵심 MIR 과제들은 속도, 음량 등의 연주 특징을 암묵적으로 모델링하지만, 스코어 콘텐츠와의 분리를 실패함으로써 해석 가능성 저하를 초래한다.
• 음악 튜터링 소프트웨어와 같은 실용적 응용 분야에서 성악 분석은 필수적이다. 여기서 타이밍, 음량, 정확도에 대한 자동 피드백은 오디오 녹음 분석에서 유도된다.
• 수동 주석 의존과 부족한 데이터로 인해 자동화되고 강력하며 해석 가능한 성악 분석 도구의 부족은 MPA 및 MIR 분야의 발전을 저해한다.
• 미래의 MIR 시스템은 스코어와 연주 간의 명시적 차이를 모델링하고, 특히 비클래식 음악 장르에서의 데이터 부족 문제를 해결하기 위해 약한 레이블링 또는 자기지도 학습 기법을 활용해야 한다.