[논문 리뷰] Learning to Generate Music with BachProp

Florian Colombo, Johanni Brea외 1명|arXiv (Cornell University)|2018. 12. 17.

Music and Audio Processing참고 문헌 21인용 수 6

한 줄 요약

BachProp는 음표 시퀀스를 이전 음표 대비 음고, 지속시간, 시간 이동으로 모델링하여 다양한 스타일의 음악을 작곡하는 데 학습하는 신경망 음악 생성 모델이다. 장기적인 음악적 의존성과 스타일적으로 일관되며 새로운 구성품을 생성하는 데 있어 기존 모델을 능가하며, 바흐의 성가, 민속 음악, 고전적 4중주 등 다양한 데이터셋에서 정량적 지표와 청취 비교를 통해 검증되었다.

ABSTRACT

(Abstract to follow)

연구 동기 및 목표

• 고정된 구조적 제약 조건(예: 보컬 수, 리듬 그리드 등)을 가정하지 않고 다양한 음악 스타일에 적응할 수 있는 일반 목적의 음악 생성 모델을 개발하는 것.
• 기존 모델이 고정된 리듬 이산화(예: 16분 음표 그리드)에 의존하여 표현적 타이밍이나 복잡한 리듬을 표현할 수 없는 한계를 해결하는 것.
• 딥러닝 신경망 훈련을 위한 최소한의 왜곡 없이 리듬의 정합성을 유지하는 음악 표현 방식을 제안하는 것.
• 훈련 데이터의 분포와 유사성, 구조적 유사성, 창작성 등을 평가하는 새로운 정량적 지표 세트를 통해 생성 모델을 평가하는 것.
• 인간 작곡가와의 협업을 가능하게 하여 상호작용적이고 접근 가능한 음악 창작을 가능하게 하는 것.

제안 방법

• 표준 MIDI나 그리드 기반 표현 방식에 비해 리듬 왜곡을 최소화하는 방식으로 음악을 시간 이동, 지속시간, 음고로 정의된 음표 시퀀스로 표현한다.
• 과거 정보를 기반으로 다음 음표의 조건부 확률 분포를 예측하기 위해 깊은 순환 신경망을 훈련하고, 교차 엔트로피 손실를 사용한다.
• 수정된 역전파 메커니즘을 통해 시퀀스 모델링에서 기울기 흐름과 안정성을 향상시키는 새로운 훈련 알고리즘인 BachProp을 사용한다.
• 바흐의 성가, 민속 음악(노팅엄), 존 샌키의 MIDI 녹음, 하이든과 모차르트의 현악 4중주 등 다양한 데이터셋에 모델을 적용한다.
• 구간 분포, 곡 길이 분포, 자동 창작성 프로파일 등을 포함한 정량적 지표 세트를 활용해 모델 출력을 실제 음악 코퍼스와 비교한다.
• 보조 미디어 웹페이지에서 대규모 청취 비교를 통해 정성적 평가를 수행하여 청각적 품질과 스타일 일관성을 평가한다.

실험 결과

연구 질문

• RQ1 고정된 구조적 제약(예: 보컬 수, 리듬 그리드 등)을 가정하지 않고도 깊이 있는 딥러닝 모델이 다양한 음악 스타일에서 음악적으로 일관되고 새로운 구성품을 생성할 수 있는가?
• RQ2 기존 모델과 비교해 BachProp은 훈련 데이터의 핵심 통계적 특성(예: 구간 분포, 곡 길이 분포 등)을 얼마나 잘 유지하는가?
• RQ3 자동 창작성 프로파일과 실제 코퍼스의 분포 유사성 측면에서 BachProp은 얼마나 높은 창작성과 구조적 다양성을 갖는가?
• RQ4 복잡도와 균일성가 다른 데이터셋(예: 바흐의 성가 대비 이질적인 현악 4중주)에서 모델의 성능은 어떻게 변화하는가?
• RQ5 제안된 평가 지표는 단순히 패턴을 재조합하는 모델과 진정으로 장기적 의존성을 추론하는 모델을 효과적으로 구분할 수 있는가?

주요 결과

• BachProp은 바흐의 성가 데이터셋에서 최저의 음수 로그우도(NLL) 0.419를 기록하여 시퀀스에서 다음 음표를 예측하는 데 있어 높은 정확도를 보였다.
• 더 복잡한 존 샌키 및 현악 4중주 데이터셋에서 BachProp은 각각 NLL 1.002와 0.936을 기록하여 균일하지 않은 코퍼스를 넘어선 강력한 일반화 능력을 입증했다.
• 모든 패턴 크기에서 BachProp의 자동 창작성 프로파일이 원본 코퍼스와 거의 일치하여 생성된 음악의 높은 다양성과 낮은 중복성을 보였다.
• 모델 간 비교에서 BachProp은 구간 분포를 가장 잘 유지했으며, 오직 DeepBach만이 다소의 편차(과잉된 소3도)를 보였다. BachProp, PolyDAC, MidiBP, PolyRNN는 훈련 데이터와 잘 일치했다.
• BachProp은 다른 모든 모델보다 원본 코퍼스와 유사한 곡 길이 분포를 보였고, MidiBP를 제외한 모든 모델보다 더 나은 장기적 의존성 모델링 능력을 보였다.
• 보조 미디어 웹페이지에서 수행한 정성적 청취 비교를 통해 BachProp이 생성한 곡들은 모든 테스트 데이터셋에서 고유하고 스타일적으로 일관되며 음악적으로 쾌적하다는 평가를 받았다.