[논문 리뷰] Getting Closer to the Essence of Music: The Con Espressione Manifesto

Gerhard Widmer|arXiv (Cornell University)|2016. 11. 29.

Music and Audio Processing참고 문헌 67인용 수 19

한 줄 요약

이 선언문은 음악정보연구(MIR) 분야의 패러다임 전환을 촉구하며, 인간의 청각 인지, 표현성, 연주를 중심으로 더 깊은 음악적 이해로 나아가야 한다고 주장한다. 대규모 기계학습과 다학제적 협업을 통해 음악적 구조, 표현적 연주, 청취자 인지의 계산 모델을 발전시켜, 인간 연주자와 공감적으로 상호작용할 수 있는 음악지능 시스템을 구현하고자 한다.

ABSTRACT

This text offers a personal and very subjective view on the current situation of Music Information Research (MIR). Motivated by the desire to build systems with a somewhat deeper understanding of music than the ones we currently have, I try to sketch a number of challenges for the next decade of MIR research, grouped around six simple truths about music that are probably generally agreed on, but often ignored in everyday research.

연구 동기 및 목표

• 현재 MIR 시스템이 감정, 놀라움, 흐름과 같은 표현적 특성인 감정, 놀라움, 흐름을 인지하거나 전달하지 못하는 깊이 있는 음악적 이해의 부족을 해결하기 위해.
• 음악을 청각적, 시간적, 표현적 과정으로서 인간 청취자와 연주자가 형성하는 핵심 원칙에 기반해 MIR 연구를 재편하기 위해.
• 다학제적 연구와 대규모 데이터를 통해 음악적 구조, 표현적 연주, 청취자 인지의 계산 모델을 발전시키기 위해.
• 청각, 인지, 연주 과학을 통합함으로써 실시간으로 인간 연주자와 표현적으로 상호작용할 수 있는 음악지능 시스템을 개발하기 위해.
• 기술적 신호 분석을 넘어서 향후 연구 계획에서 표현적 및 청각적 차원을 우선시할 수 있도록 MIR 공동체를 자극하기 위해.

제안 방법

• 시작점, 다이내믹스, 발음, 고음도와 같은 표현적 차원을 분류하고 특성화하기 위한 기술적 기준 틀 개발.
• 기본적인 시작점과 다이내믹스를 넘어서, 정교한 신호 처리와 기계학습을 활용한 오디오 기반 표현적 연주 파라미터 추출 기술 개선.
• 정보이론적 모델과 비지도 학습을 MIR 기술과 융합하여 스코어 수준과 오디오 수준 양쪽에서 음악적 구조 인지 모델링.
• 대규모 정제된 데이터베이스를 활용해 표현적 메시지의 의도를 인식하는 분류 모델 개발.
• 특정 감정적 또는 스타일적 특성을 표현하도록 성능을 생성하거나 수정할 수 있는 예측 모델 개발.
• 실시간으로 표현적인 음악적 상호작용을 테스트하기 위해 '공감 음악 동반자'와 같은 상호작용형 시연 장치 설계 및 구현.

실험 결과

연구 질문

• RQ1 계산 모델은 음악 인지와 구조의 비-마르코프성 및 시간적으로 확장된 성격을 어떻게 더 잘 포착할 수 있는가?
• RQ2 기계학습 시스템은 다양한 장르와 연주자 간에 '흐르는' 또는 '드라마틱한' 등의 표현적 특성을 얼마나 잘 인식하고 분류할 수 있는가?
• RQ3 실시간으로 인간 연주자의 표현적 스타일을 예측하고 적응시킬 수 있는 MIR 시스템은 어떻게 설계될 수 있는가?
• RQ4 시작점과 다이내믹스 외에 어떤 표현적 특성이 청취자들이 음악적 성격과 감정을 인지하는 데 가장 강하게 기여하는가?
• RQ5 대규모로 정제된 표현적 연주 데이터베이스는 음악적 구조와 표현적 표현 간의 관계를 이해하는 데 어떤 방식으로 활용될 수 있는가?

주요 결과

• 현재 MIR 시스템은 재현성과 예측 불가능성과 같은 청각 원칙에 기반해 음악적으로 흥미로운 작품과 단조로운 작품을 구분할 수 없다.
• 컴퓨터는 여전히 인간 청취자에게는 명백한 표현적 특성인 '편안한' 또는 '흐르는' 등의 특성을 식별하거나 분류할 수 없다.
• 특히 고전음악에서 음악적 구조와 표현적 연주가 함께 작용해 작품의 인지된 성격을 형성하는 방식을 모델링하는 데 상당한 격차가 존재한다.
• Con Espressione 프로젝트는 같은 곡의 다양한 연주에 대해 인간의 청각 인지에서 공감대가 형성되는지를 평가하기 위해 커뮤니티 기반의 게임을 시작했으며, 초기로는 청각적 일치 패턴을 드러냈다.
• 공감 음악 동반자(Compassionate Music Companion)는 프로젝트의 핵심 시연 장치로, 연주자의 표현적 스타일을 인지하고 적응함으로써 실시간으로 표현적인 음악적 상호작용을 가능하게 하려는 목표를 가진다.
• 이 선언문은 음악의 시간성, 비-마르코프성, 청취자 중심의 인지, 학습된 감상, 연주 의존성, 표현성의 여섯 가지 핵심 '진리'를 향후 MIR 연구의 기초로 지적한다.