[논문 리뷰] Neural Translation of Musical Style

Iman Malik, Carl Henrik Ek|arXiv (Cornell University)|2017. 08. 11.

Cognitive Science and Education Research참고 문헌 13인용 수 21

한 줄 요약

이 논문은 시트 음악에서 연주 표현성을 예측하는 노트 속도를 예측함으로써 표현적인 음악 연주를 생성하는 데 기반한 딥러닝 모델인 StyleNet을 제안한다. 이 모델은 짧은 클립과 긴 클립 모두에서 인간의 연주와 구분되지 않는 성능을 보이며 음악적 터닝 테스트에 통과하여, 명시적인 규칙 기반 모델링 없이도 자연스럽고 인간다운 표현을 합성할 수 있음을 입증한다.

ABSTRACT

Music is an expressive form of communication often used to convey emotion in scenarios where "words are not enough". Part of this information lies in the musical composition where well-defined language exists. However, a significant amount of information is added during a performance as the musician interprets the composition. The performer injects expressiveness into the written score through variations of different musical properties such as dynamics and tempo. In this paper, we describe a model that can learn to perform sheet music. Our research concludes that the generated performances are indistinguishable from a human performance, thereby passing a test in the spirit of a "musical Turing test".

연구 동기 및 목표

• 수작업 규칙에 의존하지 않고 시트 음악에서 표현적인 음악 연주를 생성할 수 있는 데이터 기반 모델을 개발하는 것.
• 신경망이 속도와 타이밍과 같은 역동적이고 표현적인 연주 요소를 학습하고 재현할 수 있는지 조사하는 것.
• 기계로 생성된 연주가 청각적 터닝 테스트에서 인간의 연주와 구분되지 않는지 평가하는 것.
• 음악적 스타일을 음악적 콘텐츠에서 별개로 분리하고 이식 가능한 구성 요소로 학습할 수 있는지 탐색하는 것.
• 향후 신경 음악 연주 합성 연구를 지원하기 위해 공개 가능한 데이터셋(Piano 데이터셋)을 구축하는 것.

제안 방법

• 모델는 시퀀스의 노트 페치를 예측된 노트 속도로 매핑하기 위해 장기 단기 기억(LSTM) 네트워크를 사용하며, 원시 연주 데이터에서 표현적 타이밍과 다이내믹스를 학습한다.
• 아키텍처는 입력이 노트 온셋과 페치의 시퀀스이고 출력이 각 노트에 해당하는 속도인 회귀 설정에서 훈련된다.
• 모델는 대규모 MIDI 연주 데이터셋에서 엔드 투 엔드로 훈련되어 표기법에서 직접 표현적 연주 특성을 유추하도록 학습된다.
• 두 가지 변형이 탐색되었으며, 장르별 스타일 모델링을 위한 GenreNet과 일반적인 연주 합성을 위한 StyleNet이다.
• 모델는 짧은 클립과 긴 연주 모두에서 인간 청각 실험을 통해 평가되었으며, 음악적 터링 테스트를 포함한다.
• 미래 작업에서 음악적 콘텐츠와 스타일을 더 잘 분리하기 위해 계층적 아키텍처를 제안한다. 이는 장르 간 스타일 전이를 목표로 한다.

실험 결과

연구 질문

• RQ1 신경망은 인간 연주와 청각적으로 구분되지 않는 표현적인 음악 연주를 시트 음악에서 생성할 수 있는가?
• RQ2 LSTM과 같은 시퀀스 모델이 음악 표현에 내재된 장거리 의존성과 역동적 변동을 어느 정도 잘 포착할 수 있는가?
• RQ3 스타일 레이블에 대한 명시적 지도 없이도 고전 음악과 재즈와 같은 다양한 음악 스타일 간에 일반화할 수 있는가?
• RQ4 신경망 모델에서 음악적 콘텐츠와 스타일을 분리하여 장르 간 스타일 전이를 가능하게 할 수 있는가?
• RQ5 실제 터링 테스트 환경에서 긴 음악 곡에 대해 평가했을 때 모델의 성능은 어떠한가?

주요 결과

• 짧은 클립 터링 테스트에서 참가자 중 46%만 인간 연주를 정확히 식별했으며, 이는 생성된 연주가 실제 연주와 구분되지 않음을 시사한다.
• 긴 연주에서의 음악적 터링 테스트에서 모델는 46%의 참가자가 합성 연주와 인간 연주를 구분하지 못함으로써 통과했다.
• 평균적으로 53%의 참가자가 짧은 클립에서 인간 연주를 식별했으며, 이는 랜덤 추측의 기준인 50%보다 약간 높은 수준이므로 높은 청각적 현실감을 시사한다.
• '스타일 식별' 테스트에서 참가자 중 47.5%가 장르(고전 음악 또는 재즈)를 정확히 식별했으며, 이는 랜덤 추측보다 약간 높은 정도이므로 명확한 스타일적 특징 생성 능력이 제한적임을 시사한다.
• 결과는 모델가 매우 현실적인 연주를 생성하지만 명확히 분리된 스타일적 특징을 생성하는 데 어려움을 겪고 있음을 시사하며, 장르 특화된 표현을 모델링하는 데 한계가 있음을 나타낸다.
• 저자는 현재 모델 아키텍처가 콘텐츠에서 스타일을 분리하는 데 부적절하며, 향후 작업은 더 나은 스타일 분해를 위한 계층적 모델에 집중할 것이라고 결론 내린다.