[논문 리뷰] The ACCompanion v0.1: An Expressive Accompaniment System

Carlos Cancino-Chacón, Martin Bonev외 6명|arXiv (Cornell University)|2017. 11. 07.

Music Technology and Sound Studies참고 문헌 5인용 수 5

한 줄 요약

ACCompanion v0.1은 실시간으로 연주를 추적하기 위해 음성 추적 기반의 은닉 마르코프 모델(HMM)을 사용하고, 보조 악보의 표현적 다이내믹스, 타이밍, 발음 등을 생성하기 위해 Basis-Mixer 신경망 프레임워크를 활용하는 표현적 악보 보조 시스템의 프로토타입이다. 이 시스템은 확률적 악보 추적과 딥러닝 기반의 표현적 연주 모델링을 새로운 방식으로 통합하여 실시간으로 음악적으로 일관된 표현적 보조를 가능하게 한다.

ABSTRACT

In this paper we present a preliminary version of the ACCompanion, an expressive accompaniment system for MIDI input. The system uses a probabilistic monophonic score follower to track the position of the soloist in the score, and a linear Gaussian model to compute tempo updates. The expressiveness of the system is powered by the Basis-Mixer, a state-of-the-art computational model of expressive music performance. The system allows for expressive dynamics, timing and articulation.

연구 동기 및 목표

• 솔로 MIDI 연주를 위한 음악적으로 일관되고 표현적인 실시간 보조를 생성하는 실시간 표현적 보조 시스템을 개발하는 것.
• 확률적 단성 악보 추적기와 표현적 연주를 모델링하는 신경망 기반 모델(Basis-Mixer)을 통합하여 동기화된 표현적 보조를 구현하는 것.
• GUI와 외부 컨트롤러를 통한 실시간 표현적 파라미터 제어를 가능하게 하여 연주의 과장 또는 최소화를 조절할 수 있도록 하는 것.
• 향후 다성분 악보 추적과 연주자 그룹의 데이터를 통합할 수 있는 시스템의 기반을 마련하는 것.
• 엄격한 동기화를 넘어서 자체적인 표현적 연주 아이디어를 가진 자동화된 시스템의 타당성을 탐색하는 것.

제안 방법

• 시스템은 MIDI 편도와 상호 발화 간격(IOI) 데이터를 사용하여 연주자의 악보 내 위치를 추적하기 위해 은닉 마르코프 모델(HMM)에 스위칭 칼만 필터를 적용한다.
• 악보 추적기는 비트 주기를 선형 가우시안 프로세스로 모델링하며, 이 프로세스의 파라미터는 HMM의 은닉 상태에 따라 달라지므로 안정적인 템포 추적을 가능하게 한다.
• Basis-Mixer(BM) 프레임워크는 각 음에 대해 다섯 가지 표현적 목표를 예측한다: Loudness_trend, BP(비트 주기 비율), Loudness_dev, Timing, Articulation.
• 발화 기반 목표는 양방향 순환 신경망(BRNN)을, 음 기반 목표는 피드포워드 신경망을 통해 예측한다.
• BM은 베토벤 피아노 소나타 연주 데이터셋을 기반으로 학습되며, 악보의 구조적 특징을 기반 함수로 표현하여 표현적 특징을 인코딩한다.
• 시스템은 실시간 GUI를 제공하여 피아노 롤 형식으로 솔로 및 보조 악보를 시각화하며, 색상 코드화된 노트를 통해 정확성과 음량을 표시한다.

실험 결과

연구 질문

• RQ1 확률적 악보 추적과 신경망 기반의 표현적 연주 모델링을 활용한 실시간 보조 시스템이 연주자와 표현적으로 동기화될 수 있는가?
• RQ2 신경망 기반 프레임워크(Basis-Mixer)가 자동 보조에서 음악적으로 의미 있는 다이내믹스, 타이밍, 발음을 얼마나 효과적으로 생성할 수 있는가?
• RQ3 외부 하드웨어(예: USB 컨트롤러)를 통한 실시간 외부 제어로 표현적 연주를 얼마나 정밀하게 조절하고 조절 가능할 수 있는가?
• RQ4 악보 추적기와 딥러닝 기반의 연주 모델을 통합함으로써 자동 보조의 표현성과 일관성은 얼마나 향상되는가?
• RQ5 표현적 보조 시스템의 음악적 품질을 평가할 때 정량적 평가의 한계는 무엇인가?

주요 결과

• ACCompanion v0.1은 단성 악보 추적기와 Basis-Mixer 프레임워크를 성공적으로 통합하여 실시간으로 다이내믹스, 타이밍, 발음 표현성을 갖춘 표현적 보조를 생성한다.
• HMM 프레임워크 내에서 스위칭 칼만 필터를 사용하여 연주자의 위치와 템포를 실시간 성능에 적합한 정확도로 추적한다.
• Basis-Mixer 모델은 베토벤 소나타 연주의 데이터를 기반으로 하여 속도 추세, 마이크로타이밍 이격, 발음 비율 등의 표현적 연주 특징을 효과적으로 학습하고 재현한다.
• GUI는 색상 코드화된 노트를 통해 실시간 시각 피드백을 제공하며, 솔로 부분의 정확한, 삽입된, 잘못된 노트를 구분하고, 밝기로 음량을 표시한다.
• 시스템은 USB 컨트롤러를 통해 실시간으로 표현적 파라미터를 제어할 수 있으며, 표현적 목표의 동적 조절이 가능하다.
• 이 프로토타입에서는 공식적인 정량적 평가가 수행되지 않았지만, 확률적 악보 추적과 신경망 기반의 표현적 연주 모델링을 결합한 시스템의 타당성이 입증되었다.