[논문 리뷰] Bach in 2014: Music Composition with Recurrent Neural Network

I-Ting Liu, Bhiksha Ramakrishnan|arXiv (Cornell University)|2014. 12. 10.

Music and Audio Processing참고 문헌 13인용 수 19

한 줄 요약

이 논문은 장기 기억 단기 기억(기억장기단기기억, LSTM) 유닛과 내성적 전파(RProp)를 사용한 순환 신경망(RNN) 프레임워크를 제안하며, 전통적인 시간을 거꾸로 전파하는 방식(BPTT)에 비해 J.S. 바흐의 차오랄을 재구성하고 예측하는 데 뛰어난 성능을 보인다. RProp를 사용할 경우 높은 정확도(31.91%)와 F1 스코어(20.29%)를 달성하여 수렴 속도가 빠르고 음악적 구조 및 장기적 의존성을 더 잘 포착함을 보였다.

ABSTRACT

We propose a framework for computer music composition that uses resilient propagation (RProp) and long short term memory (LSTM) recurrent neural network. In this paper, we show that LSTM network learns the structure and characteristics of music pieces properly by demonstrating its ability to recreate music. We also show that predicting existing music using RProp outperforms Back propagation through time (BPTT).

연구 동기 및 목표

• 장기적인 음악적 구조와 리듬 패턴을 포착하는 딥러닝 프레임워크를 개발하여 컴퓨터 음악 창작을 위한 기반을 마련한다.
• 표준 RNN에서 장기적 의존성을 학습하는 데 제한을 받는 기울기 소실 문제를 해결한다.
• 가중치 갱신에 BPTT를 RProp로 대체하여 음악 생성의 학습 효율성과 성능을 향상시킨다.
• 모델이 복잡한 음악 작품, 예를 들어 J.S. 바흐의 차오랄을 재구성하고 예측하는 능력을 평가한다.
• 현재 신경망 음악 생성을 위한 음악 표현 방식과 평가 지표의 한계를 탐색한다.

제안 방법

• 시스템은 음악의 순차적 의존성을 모델링하기 위해 장기 기억 단기 기억(LSTM) 순환 신경망을 사용하여 장기적인 음악적 구조를 효과적으로 학습할 수 있도록 한다.
• 네트워크 가중치 갱신을 위해 내성적 전파(RProp)를 최적화 알고리즘으로 활용하여 표준 역전파에서 발생하는 기울기 소실 문제를 피한다.
• 음악은 고정된 시간 단위 포맷으로 표현된 이산적인 노트 이벤트(음고, 지속시간, 시작 시점)의 시퀀스로 표현된다.
• 학습 동안 참조값 노트를 각 시간 단위에 입력하여 학습을 안정화시키기 위해 교사-강제 학습(teacher-forcing) 기법을 사용한다.
• 테스트 세트의 바흐 차오랄을 대상으로 프레임 수준의 정확도와 F1 스코어를 사용하여 평가를 수행하며, RProp와 BPTT 학습 방식을 비교한다.
• 모델은 재구성(기존 음악 재생)과 예측(새로운 음악 생성) 작업 모두에 대해 평가된다.

실험 결과

연구 질문

• RQ1 LSTM 기반 RNN은 바흐 차오랄과 같은 복잡한 다성음 음악의 구조적 및 리듬적 특성을 효과적으로 학습하고 재구성할 수 있는가?
• RQ2 RProp는 수렴 속도와 예측 정확도 측면에서 BPTT에 비해 RNN을 음악 생성에 적용할 때 더 우수한가?
• RQ3 학습된 네트워크가 기존 음악 작품에서 학습한 후 새로운, 타당한 음악 작품을 생성하는 데 얼마나 잘 일반화되는가?
• RQ4 정확도와 F1 스코어와 같은 현재 평가 지표는 인간이 느끼는 음악 유사성과 얼마나 관련이 있는가?
• RQ5 현재 음악 표현 체계는 신경망 순차 모델에서 멜로디, 화성, 노트 지속 시간을 어떻게 구분하는 데 한계를 가진다?

주요 결과

• RProp로 학습한 LSTM-RNN은 바흐 차오랄 데이터셋에서 31.91%의 프레임 수준 정확도와 20.29%의 F1 스코어를 기록했으며, BPTT는 21.03%의 정확도와 11.84%의 F1 스코어를 기록하여 뚜렷이 뛰어난 성능을 보였다.
• 네트워크는 빠른 수렴을 보였으며, 단지 수십 개의 학습 에포크 안에 전체 차오랄을 성공적으로 재구성하여 음악적 구조 학습의 효과성을 입증했다.
• RProp 학습은 BPTT에 비해 더 빠른 수렴과 더 낮은 평균 제곱 오차(MSE)를 보였으며, 학습 손실 곡선의 시각적 비교를 통해 이를 확인할 수 있었다.
• 모델은 음악의 장기적 의존성, 예를 들어 구절 구조와 화성 진행을 효과적으로 포착하여 학습 후 타당한 음악 생성이 가능했다.
• 높은 정확도에도 불구하고 평가 지표는 인간의 음악 유사성 인식과 완전히 일치하지 않았으며, 이는 인간 중심의 평가 방법이 필요함을 시사한다.
• 현재 표현 체계의 한계로 멜로디와 반주를 구분하지 못하고, 음의 끝 시간을 정확히 인식하지 못하는 문제가 발견되어 향상된 인코딩 체계가 필요함을 시사한다.