[논문 리뷰] Music Generation with Deep Learning

Vasanth Kalingeri, Srikanth Grandhe|arXiv (Cornell University)|2016. 12. 15.

Music and Audio Processing참고 문헌 2인용 수 7

한 줄 요약

이 논문은 음악적 표기나 구조적 MIDI 데이터에 의존하지 않고 주파수 도메인 표현을 활용한 원시 음성 신호 음악 생성을 위한 딥러닝 접근법을 제안한다. LSTM 아키텍처에 완전히 연결된 계층과 컨볼루션 계층을 통합하여 음질을 향상시켰으며, 이중선형 LSTM 모델은 맹각 테스트에서 가장 높은 청취자 인식 품질을 기록하여 기준 모델을 압도적으로 뛰어넘었다. 이는 음악적 일관성과 청취자에게 쾌적한 사운드를 생성하는 데 성공했다.

ABSTRACT

The use of deep learning to solve problems in literary arts has been a recent trend that has gained a lot of attention and automated generation of music has been an active area. This project deals with the generation of music using raw audio files in the frequency domain relying on various LSTM architectures. Fully connected and convolutional layers are used along with LSTM's to capture rich features in the frequency domain and increase the quality of music generated. The work is focused on unconstrained music generation and uses no information about musical structure(notes or chords) to aid learning.The music generated from various architectures are compared using blind fold tests. Using the raw audio to train models is the direction to tapping the enormous amount of mp3 files that exist over the internet without requiring the manual effort to make structured MIDI files. Moreover, not all audio files can be represented with MIDI files making the study of these models an interesting prospect to the future of such models.

연구 동기 및 목표

• 음악적 표기나 MIDI 파일을 사용하지 않고 원시 음성 웨이브폼에서 직접 고품질의 제약 없는 음악을 생성하는 것.
• 추가적인 완전히 연결된 계층과 컨볼루션 계층을 갖춘 깊은 LSTM 아키텍처를 통해 주파수 도메인에서 음성 모델링을 통해 음악 생성 품질을 향상시키는 것.
• 청취자 인식 품질에 중점을 두고 음악 이론의 구조적 정확성과는 무관하게 맹각 청취 테스트를 통해 모델 성능을 평가하는 것.
• 이중선형 및 다층 LSTM 설계와 같은 아키텍처 개선 사항이 장거리 의존성 학습과 음성 일관성 향상에 어떻게 기여하는지 규명하는 것.
• 평균 제곱 오차 손실의 대안으로 애자일 학습을 향후 활용하여 인간의 청취 인식과의 일치도 향상시키는 것

제안 방법

• 시간 도메인 웨이브폼에서 8000차원 주파수 도메인 벡터로 변환하기 위해 푸리에 변환을 사용하며, 실수부와 허수부를 연결한다.
• 모델은 10초 분량의 오디오 세그먼트를 대상으로 훈련하며, 1회 순전파 처리에 40개 타임스텝의 컨텍스트를 사용해 10초의 오디오를 처리한다.
• 기본 모델은 주파수 도메인 입력에 대해 단일 LSTM을 사용하며, 향상된 모델은 완전히 연결된 계층, 1D 및 2D 컨볼루션 계층, 병렬 LSTM 유닛을 갖춘 이중선형 LSTM 아키텍처를 포함한다.
• 훈련에는 RMSProp 옵timizer를 사용하며 학습률은 0.0001, 손실 함수로 평균 제곱 오차를 사용한다. 정규화를 위해 L2 정규화와 드롭아웃(완전히 연결된 계층은 0.2, LSTM은 0.5)을 적용한다.
• 생성된 오디오는 1200, 1500, 1800, 2100 에포크에서 샘플링되며, 수동 프루닝과 맹각 테스트를 기반으로 최고 성능을 보인 모델이 선정된다.
• 10명의 평가자가 참가한 맹각 청취 테스트를 통해 1~5점 척도로 오디오 품질을 평가하며, 다양한 모델에서 생성된 30개의 클립을 평가 대상으로 삼는다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 음악적 표기나 MIDI 데이터에 의존하지 않고 원시 음성 신호에서 청취자에게 쾌적한 음악을 직접 생성할 수 있는가?
• RQ2 완전히 연결된 계층, 1D/2D 컨볼루션, 이중선형 LSTM 아키텍처와 같은 다양한 아키텍처 구성 요소가 생성된 오디오의 품질과 일관성에 어떤 영향을 미치는가?
• RQ3 훈련 데이터가 제한된 상황에서 추가 계층을 통해 모델 용량을 증가시키면 음악 생성 성능이 향상되는가?
• RQ4 하드웨어 제약으로 인해 셀 크기가 제한된 상황에서도 주파수 도메인에서 LSTMs를 활용해 음악 생성에 필요한 장거리 의존성을 포착할 수 있는가?
• RQ5 평균 제곱 오차와 같은 손실 함수의 선택이 향후 애자일 손실과 비교할 때 청취자 인식 품질 측면에서 어떻게 다를까?

주요 결과

• 이중선형 LSTM 모델은 맹각 테스트에서 평균 3.6점(5점 만점)을 기록하여 기준 모델(2.4점)을 크게 앞서며 가장 높은 평균 점수를 기록했다.
• 2D 컨볼루션 LSTM 모델은 평균 3.4점으로 2위를 차지하여 주파수 도메인에서의 공간적 컨볼루션 구조가 특징 학습을 향상시킨다는 것을 시사한다.
• FC, 1D-conv, 스태킹된 LSTM을 포함한 모든 제안된 모델이 기준 모델을 뛰어넘었으며, 평균 점수는 2.8에서 3.4 사이로 아키텍처 개선의 유의미한 이점을 보여주었다.
• 이중선형 LSTM 모델는 병렬 학습 경로 덕분에 더 빠른 수렴과 더 나은 성능을 달성하여 더 효율적인 특징 추출이 가능했다.
• 훈련에 피아노 녹음 데이터를 사용했음에도 불구하고 모델들은 전자 합성 음악, 즉 악기적 특성과 무관한 음악을 생성하여 원천 악기 특성 외부로 일반화된 성능을 보였다.
• 훈련 중 손실 곡선은 모든 모델에서 유사했으며 청취자 인식 품질과 상관관계가 없었으며, 이는 손실 값 자체가 오디오 품질의 신뢰할 수 있는 지표가 되지 못한다는 것을 시사한다.