[논문 리뷰] Maximum entropy models for generation of expressive music

Simon Moulieras, François Pachet|arXiv (Cornell University)|2016. 10. 12.

Music Technology and Sound Studies참고 문헌 10인용 수 3

한 줄 요약

이 논문은 재즈, 팝, 라틴 재즈 장르의 전문 피아니스트 연주에서 마이크로타이밍 이탈, 지속시간 이동, 음량 변화, 메트릭 위치를 학습함으로써 표현적인 음악을 생성하기 위해 최대 엔트로피(MaxEnt) 모델을 제안한다. 이 모델은 인접한 음들 간의 국소적 상관관계를 포착하고, 청취 테스트에서 인간 연주와 통계적으로 구분되지 않는 음악적 표현을 생성하며, 참가자들이 비표현적 또는 무작위로 표현된 버전보다 MaxEnt로 생성된 멜로디를 유의미하게 선호한다.

ABSTRACT

In the context of contemporary monophonic music, expression can be seen as the difference between a musical performance and its symbolic representation, i.e. a musical score. In this paper, we show how Maximum Entropy (MaxEnt) models can be used to generate musical expression in order to mimic a human performance. As a training corpus, we had a professional pianist play about 150 melodies of jazz, pop, and latin jazz. The results show a good predictive power, validating the choice of our model. Additionally, we set up a listening test whose results reveal that on average, people significantly prefer the melodies generated by the MaxEnt model than the ones without any expression, or with fully random expression. Furthermore, in some cases, MaxEnt melodies are almost as popular as the human performed ones.

연구 동기 및 목표

• 기본적인 확률적 프레임워크를 사용해 악보에서의 표현적 이탈을 모델링하는 것.
• 시작 시점, 지속시간, 음량, 메트릭 위치와 같은 음 단위의 표현적 파rameter 간의 국소적, 이동 불변 상관관계를 포착하는 것.
• 전체적인 구조적 패턴에 의존하지 않고 인간 연주를 모방하는 생성 모델을 개발하는 것.
• 통제된 청취 테스트를 통해 생성된 음악의 지각적 품질을 평가하는 것.
• MaxEnt 모델이 인간 연주에 가까운 표현적 음악을 생성할 수 있음을 입증하는 것.

제안 방법

• 실제 연주 데이터에서 관측된 제약 조건을 만족하면서 엔트로피를 최대화하는 확률 분포를 구성하기 위해 최대 엔트로피 원리를 적용한다.
• 이산 변수(예: 메트릭 위치)와 연속 변수(예: 온셋 이탈, 지속시간 이탈, 음량)를 별도의 MaxEnt 분포로 모델링하며, 지수족 형태를 사용한다.
• 각 음의 표현적 파rameter가 오직 그 이웃 음들에만 의존하는 국소적, 이동 불변 특징을 사용함으로써 국소적 텍스처 가정을 강제한다.
• 온셋 이탈, 지속시간 이탈, 음량, 메트릭 위치와 같은 충분통계량(관측 가능 변수)을 정의하여 관련된 표현적 특징을 포착한다.
• 재즈, 팝, 라틴 재즈 장르의 150개 전문 연주 멜로디 코퍼스를 사용해 최대우도 추정을 통해 모델 파ram터를 추정한다.
• 학습된 MaxEnt 분포에서 샘플링을 통해 새로운 연주를 생성하며, 이로써 인접한 음들 간의 통계적 의존성을 유지한다.

실험 결과

연구 질문

• RQ1 최대 엔트로피 모델은 실제 데이터에서 표현적 음악 연주를 효과적으로 포착하고 생성할 수 있는가?
• RQ2 인접한 음들 간의 국소적 상관관계는 현대 음악에서 표현적 타이밍과 다이내믹스를 얼마나 잘 설명하는가?
• RQ3 MaxEnt로 생성된 연주는 인간 연주와 얼마나 지각적으로 유사한가, 특히 비표현적 또는 무작위로 표현된 버전과 비교해 볼 때?
• RQ4 이 모델은 재즈, 팝, 라틴 재즈와 같은 다양한 음악 스타일로 일반화될 수 있는가?
• RQ5 청취자들은 MaxEnt로 생성된 음악과 인간 연주 중 어느 쪽을 더 선호하는가?

주요 결과

• MaxEnt 모델은 학습 데이터에서 강력한 예측 능력을 보이며, 주요 표현 패턴을 포착할 수 있음을 검증했다.
• 청취 테스트에서 참가자들은 비표현적 버전과 완전히 무작위로 표현된 버전보다 MaxEnt로 생성된 멜로디를 유의미하게 선호했다.
• 어떤 경우에서는 MaxEnt로 생성된 멜로디가 원본 인간 연주와 거의 동일한 선호도를 보였으며, 이는 높은 지각적 타당성을 시사한다.
• 장기적인 구조적 가정 없이도 국소적 표현 상관관계를 성공적으로 포착함으로써 표현이 주로 국소적 텍스처임을 뒷받침하는 가설을 지지한다.
• MaxEnt 프레임워크 내에서 연속 변수(온셋, 지속시간, 음량)를 사용함으로써 실제 연주에서의 마이크로타이밍 이탈을 정확하게 모델링할 수 있었다.
• 이동 불변 가정—표현적 특징이 오직 국소적 맥락에만 의존한다는 것—이 효과적이며 충분한 것으로 밝혀져 신뢰할 수 있는 음악적 표현을 생성하는 데 성공했다.