[논문 리뷰] Lead Sheet Generation and Arrangement by Conditional Generative Adversarial Network

Hao-Min Liu, Yi‐Hsuan Yang|arXiv (Cornell University)|2018. 07. 30.

Music and Audio Processing참고 문헌 21인용 수 4

한 줄 요약

이 논문은 쌍방향 데이터가 없는 데이터셋을 사용하여 리드 시트에서 음악적으로 일관된 다이얼렉트 앙상블을 생성하는 조건부 생성 적대 신경망(cGAN)을 제안한다. 크로마 피아노롤, 크로마 비트, 카드 피아노롤이라는 세 가지 상징적 영역의 화성 특징을 도입함으로써 모델은 뛰어난 성능을 달성하였으며, 특히 카드 피아노롤이 사용자 연구에서 가장 뛰어난 청각적 결과를 보였고, 총합 감성에 대한 평균 의견 점수(MOS)는 3.5675를 기록하였다.

ABSTRACT

Research on automatic music generation has seen great progress due to the development of deep neural networks. However, the generation of multi-instrument music of arbitrary genres still remains a challenge. Existing research either works on lead sheets or multi-track piano-rolls found in MIDIs, but both musical notations have their limits. In this work, we propose a new task called lead sheet arrangement to avoid such limits. A new recurrent convolutional generative model for the task is proposed, along with three new symbolic-domain harmonic features to facilitate learning from unpaired lead sheets and MIDIs. Our model can generate lead sheets and their arrangements of eight-bar long. Audio samples of the generated result can be found at https://drive.google.com/open?id=1c0FfODTpudmLvuKBbc23VBCgQizY6-Rk

연구 동기 및 목표

• 리드 시트와 전체 MIDI 사이의 새로운 작업으로서 리드 시트 배열을 제안하여 자동 음악 생성의 격차를 해소한다.
• 쌍방향 리드 시트 및 MIDI 데이터셋의 부족을 극복하기 위해 비쌍방향 데이터로부터 조건부 생성을 가능하게 한다.
• 리드 시트와 다이얼렉트 앙상블을 모두 생성할 수 있는 순환 합성곱 cGAN 아키텍처를 개발한다.
• 조건부 생성을 위한 리드 시트와 MIDI 간의 다중 모odal 연결을 위해 세 가지 상징적 영역의 화성 특징을 설계하고 평가한다.
• 시계열 생성기에서 합성곱 레이어를 순환 레이어로 대체하여 리드 시트 생성의 시간적 모델링을 향상시킨다.

제안 방법

• 리드 시트 생성, 특징 추출, 배열 생성의 세 단계로 구성된 cGAN 모델을 제안하며, 조건부 감독을 적용한다.
• 조건부 GAN을 사용하여 리드 시트를 조건으로 하여 다섯 트랙 피아노롤(메로디, 피아노, 기타, 스트링스, 베이스)을 생성한다.
• 리드 시트와 MIDI 양측에서 계산된 크로마 피아노롤, 크로마 비트, 카드 피아노롤이라는 세 가지 화성 특징을 도입하여 다중 모달 조건부 조건을 제공한다.
• 리드 시트에서 반복 패턴을 더 잘 모델링하기 위해 시계열 생성기의 표준 합성곱 레이어를 순환 레이어로 교체한다.
• Dong 등이 제안한 합성곱 GAN 아키텍처를 다트랙 피아노롤 생성에 응용하여 리드 시트 및 배열 생성에 적용한다.
• 대부분의 손실 함수와 청각적 메트릭을 사용하여 모델을 엔드 투 엔드로 훈련시키며, 목적적 메트릭과 사용자 연구를 통해 평가한다.

실험 결과

연구 질문

• RQ1 비쌍방향 리드 시트 및 MIDI 데이터셋으로부터 조건부 GAN이 음악적으로 일관된 다이얼렉트 앙상블을 효과적으로 생성할 수 있는가?
• RQ2 크로마 피아노롤, 크로마 비트, 카드 피아노롤 중 어떤 상징적 영역의 화성 표현 방식이 리드 시트 배열에서 화성과 리듬의 구조를 가장 잘 유지하는가?
• RQ3 시계열 생성기에서 순환 레이어를 사용할 경우 순수하게 합성곱 기반 설계에 비해 리드 시트 생성 품질이 어떻게 향상되는가?
• RQ4 생성된 앙상블이 화성, 리듬, 총합 음악성 측면에서 인간의 청각 인식과 얼마나 유사한가?
• RQ5 리드 시트 배열은 단성분 멜로디 생성과 전체 다트랙 MIDI 합성 사이에서 의미 있는 중간 작업으로 기능할 수 있는가?

주요 결과

• 모델은 빈 바 없이 8마디 리드 시트와 그 배열을 성공적으로 생성하였으며, 안정적인 훈련과 고품질 출력을 달성하였다.
• 카드 피아노롤 특징은 모든 청각적 메트릭에서 크로마 피아노롤과 크로마 비트를 능가하였으며, 사용자 연구에서 총합 감성에 대한 평균 의견 점수(MOS)는 3.5675를 기록하였다.
• 크로마 비트 표현 방식은 시간 해상도 손실로 인해 특히 리듬성 측면에서 성능이 열 劣하나, 화성 측면에선 양호한 성능을 보였다.
• 5,000 반복 시점에서 톤 디스턴스(TD)는 6.69, 적합한 노트 비율(QN)은 0.84를 기록하여 실제 리드 시트 통계와 강한 일치를 보였다.
• 시계열 생성기에서 순환 레이어를 사용함으로써 리드 시트의 반복 패턴을 더 잘 모델링할 수 있었으며, 이는 생성 품질 향상에 기여하였다.
• 사용자 연구 결과, 화성은 리듬성보다 총합 음악적 감성에 더 큰 영향을 미치며, 카드롤과 다른 특징 간의 유의미한 MOS 차이로 이를 뒷받침한다.