[논문 리뷰] A database linking piano and orchestral MIDI scores with application to automatic projective orchestration

Léopold Crestel, Philippe Esling외 2명|arXiv (Cornell University)|2018. 10. 19.

Music and Audio Processing참고 문헌 18인용 수 8

한 줄 요약

이 논문은 피아노 및 오케스트라 MIDI 스코어 쌍으로 구성된 Projective Orchestral Database (POD)를 소개한다. 이 데이터셋은 피아노 스코어에서 오케스트라 스코어로의 변환을 연구하기 위해 사용된다. 본 논문은 기계학습 과제로 자동 프로젝티브 오케스트레이션을 제안하며, cRBM 및 FGcRBM 등의 모델을 평가한다. 이 모델들은 중간 정도의 정확도를 달성하지만, 클래스 불균형과 희소 출력으로 인해 제한을 받으며, 더 나은 데이터 표현 및 모델링 기법의 필요성을 부각시킨다.

ABSTRACT

This article introduces the Projective Orchestral Database (POD), a collection of MIDI scores composed of pairs linking piano scores to their corresponding orchestrations. To the best of our knowledge, this is the first database of its kind, which performs piano or orchestral prediction, but more importantly which tries to learn the correlations between piano and orchestral scores. Hence, we also introduce the projective orchestration task, which consists in learning how to perform the automatic orchestration of a piano score. We show how this task can be addressed using learning methods and also provide methodological guidelines in order to properly use this database.

연구 동기 및 목표

• 피아노 스코어와 그 오케스트라 편곡 간의 상관관계를 연구하기 위한 과학적 자료를 구축하기 위해.
• 기계학습 응용을 위한 상징적 데이터베이스에서 피아노 스코어와 오케스트라 스코어를 연결한 자료의 부족을 해결하기 위해.
• 피아노 스코어를 자동으로 오케스트레이션하는 자동 프로젝티브 오케스트레이션 작업을 정의하고 평가하기 위해.
• POD 데이터셋에서 모델의 훈련 및 평가를 위한 방법론적 지침을 제공하기 위해.
• 향후 상징적 데이터를 활용한 오케스트레이션, 소스 분離 및 음악 생성 분야의 연구를 가능하게 하기 위해.

제안 방법

• 유명한 작곡가들이 작곡한 피아노 및 해당 오케스트라 스코어의 MIDI 파일을 기반으로 Projective Orchestral Database (POD)를 구축한다.
• 피아노 및 오케스트라 스코어는 침묵을 제외한 훈련을 위해 이진 피아노롤 표현으로 변환되며, 맥락 유지를 위해 유지된다.
• 오케스트라 스코어는 악기 구역(예: 모든 바이올린을 하나의 파트로 통합) 기반으로 단순화되며, 속도 값은 기각되어 이진 단위로 사용된다.
• 조건부 제한 볼츠만 기계(cRBM)와 요인화된 가우시안 cRBM(FGcRBM)가 현재 피아노 프레임과 최근 오케스트라 이력에 기반해 오케스트라 프레임을 예측하도록 훈련된다.
• 모델 평가를 위해 훈련-테스트 분할을 사용하며, 정확도는 프레임 수준과 이벤트 수준에서 측정된다.
• 평가 프레임워크에는 랜덤 생성(Bernoulli(0.5)) 및 프레임 반복(이전 프레임 복사) 기반의 베이스라인 모델이 포함된다.

실험 결과

연구 질문

• RQ1 기계학습 모델이 피아노 스코어에서 오케스트라 스코어로의 매핑을 학습할 수 있도록 상징적 데이터를 어떻게 구조화할 수 있는가?
• RQ2 기반 모델의 성능은 피아노 스코어와 과거 오케스트레이션 이력에 기반해 오케스트라 프레임을 예측하는 데 어떻게 나타나는가?
• RQ3 POD 데이터셋으로 훈련된 모델들이 왜 실제 음(note)보다 침묵을 더 자주 예측하는가?
• RQ4 희소성과 침묵 처리와 같은 데이터 표현 선택 사항이 오케스트레이션 과제에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 기계학습 모델의 신뢰할 수 있는 훈련 및 평가를 보장하기 위한 방법론적 지침은 무엇인가?

주요 결과

• 랜덤 베이스라인 모델은 매우 열악한 성능을 보이며, 오케스트레이션이 단순한 예측 과제가 아니라는 점을 확인한다.
• 프레임 반복 모델은 모든 다른 모델보다 프레임 수준 평가에서 뛰어난 성능을 보이며, 오케스트라 스코어에서 반복된 음이 흔하다는 점을 시사한다.
• FGcRBM 모델은 cRBM보다 프레임 수준 평가에서 더 뛰어난 성능을 보이며, 이 설정에서 시간적 의존성을 더 잘 모델링하고 있음을 나타낸다.
• 놀랍게도, 이벤트 수준 평가에서는 cRBM 모델이 FGcRBM을 略로 약간 뛰어나며, 이는 이벤트 수준 시퀀스에서 반복된 음의 빈도가 더 높기 때문일 수 있다.
• 모델들은 음이 끊어질 확률을 매우 높게 학습하여 침묵을 향한 강한 편향을 보이며, 이는 목표 벡터의 희소성과 클래스 불균형 때문으로 추정된다.
• 이러한 제한에도 불구하고, 일부 경우에서 모델들은 일관된 조각을 생성하며, 오케스트레이션의 기본적인 구조가 모델에 부분적으로 포착되어 있음을 시사한다.