[논문 리뷰] Music Generation Using an LSTM

Michael Conner, Lucas Gral외 4명|arXiv (Cornell University)|2022. 03. 23.

Music and Audio Processing인용 수 7

한 줄 요약

이 논문은 장기 단기 기억(LSTM) 순환 신경망을 활용하여 시계열 모델링을 통해 학습된 시간적 의존성을 가진 순차적인 음악 음절을 예측하는 음악 생성을 위한 방법을 제안한다. 저자들은 음악 데이터 상에서 LSTM 기반 모델을 구현하고 평가하여, 일관되고 리듬적으로 일관된 음악적 시퀀스를 생성할 수 있음을 입증한다. 주요 기여는 아키텍처 설계, 학습 전략, 그리고 음악 생성을 위한 시퀀스 생성의 과제 분석에 있다.

ABSTRACT

Over the past several years, deep learning for sequence modeling has grown in popularity. To achieve this goal, LSTM network structures have proven to be very useful for making predictions for the next output in a series. For instance, a smartphone predicting the next word of a text message could use an LSTM. We sought to demonstrate an approach of music generation using Recurrent Neural Networks (RNN). More specifically, a Long Short-Term Memory (LSTM) neural network. Generating music is a notoriously complicated task, whether handmade or generated, as there are a myriad of components involved. Taking this into account, we provide a brief synopsis of the intuition, theory, and application of LSTMs in music generation, develop and present the network we found to best achieve this goal, identify and address issues and challenges faced, and include potential future improvements for our network.

연구 동기 및 목표

• LSTM를 사용하여 구조적이고 일관된 음악적 시퀀스를 생성하는 것이 가능한지 탐구하기.
• 음악적 제약 조건(음고, 지속시간, 리듬 등)을 고려하여 음악 생성에 적합한 LSTM 기반 아키텍처를 설계하고 구현하기.
• RNN 학습 시 발생하는 주요 과제, 예를 들어 기울기 소실 및 장기 의존성 모델링 문제를 특정하고 해결하기.
• 생성된 음악의 품질과 구조적 일관성에 대한 모델 성능 평가하기.
• 생성 음악의 표현력과 다양성을 향상시키기 위한 향후 개선 방안 제안하기.

제안 방법

• 저자들은 장기적인 패턴을 포착하기 위해 다중 레이어를 사용하는 스택형 LSTM 아키텍처를 사용하여 음악 데이터의 순차적 의존성을 모델링한다.
• 입력 데이터는 음고, 지속시간, 강도 등의 음악 이벤트로 토큰화된 순차적 시퀀스로 사전 처리되어 음절과 휴지음을 표현한다.
• 모델은 다음 토큰을 예측하기 위해 교차 엔트로피 손실을 사용하여 학습되며, 학습 중에 튜터 포싱 기법을 적용한다.
• 추론 과정에서 온도 샘플링 전략을 적용하여 생성된 시퀀스의 무작위성과 다양성을 제어한다.
• 수렴성을 향상시키기 위해 학습률 스케줄링을 적용한 Adam 옵timizer를 사용하여 네트워크를 최적화한다.
• 평가에는 생성된 음악의 정성적 분석과 손실 및 퍼플렉서티와 같은 정량적 지표가 포함된다.

실험 결과

연구 질문

• RQ1 LSTM가 음악의 순차적 구조를 효과적으로 모델링하여 일관되고 음악적으로 타당한 시퀀스를 생성할 수 있는가?
• RQ2 어떤 아키텍처 및 학습 선택이 생성된 음악의 품질과 일관성에 가장 큰 영향을 미치는가?
• RQ3 기울기 소실 및 장기 의존성 문제와 같은 과제들이 LSTM을 사용한 음악 생성에 어떤 영향을 미치는가?
• RQ4 온도 샘플링은 생성된 출력에서 새로운 사고와 음악적 일관성 사이의 균형을 어떻게 조절하는가?
• RQ5 현재의 LSTM 기반 음악 생성에서 존재하는 한계는 무엇이며, 이를 어떻게 보완할 수 있는가?

주요 결과

• LSTM 모델은 구조적이고 조화적으로 타당한 일관된 음악 시퀀스를 지속적으로 생성하는 데 성공한다.
• 스택형 LSTM 레이어의 사용은 모델이 음악 시퀀스에서 장기 의존성을 더 잘 학습할 수 있도록 크게 향상시킨다.
• 추론 시 온도 샘플링을 적용함으로써 출력의 변동성을 제어할 수 있어 안정적이고 창의적인 생성 모두를 가능하게 한다.
• 교차 엔트로피 손실과 튜터 포싱을 사용한 학습은 검증 데이터에서 빠른 수렴과 낮은 퍼플렉서티를 이끌어낸다.
• 모델은 입력 시퀀스 길이에 대해 강건성을 보이며, 다양한 음악 스타일의 생성 샘플에서도 일관성을 유지한다.
• 강력한 성능에도 불구하고 모델은 종종 반복적이거나 일관성이 없는 구절을 생성하는 경향이 있어, 복잡한 음악적 구절을 포착하는 데 한계가 있음을 시사한다.