[논문 리뷰] Chord Generation from Symbolic Melody Using BLSTM Networks.

Hyungui Lim, Seungyeon Rhyu외 1명|arXiv (Cornell University)|2017. 10. 23.

Music and Audio Processing인용 수 11

한 줄 요약

이 논문은 12음계를 바에 따라 정규화된 특징 벡터의 시간적 의존성을 모델링하여 기호적 단성 멜로디에서 코드 진행을 생성하기 위해 이방향 순환 신경망(BLSTM)을 제안한다. 이 방법은 HMM 및 DNN-HMM 기반 모델 대비 각각 23.8% 및 11.4%의 성능 향상을 달성했으며, 사용자 연구를 통해 생성된 진행이 청취자에게 더 선호됨을 확인했다.

ABSTRACT

Generating a chord progression from a monophonic melody is a challenging problem because a chord progression requires a series of layered notes played simultaneously. This paper presents a novel method of generating chord sequences from a symbolic melody using bidirectional long short-term memory (BLSTM) networks trained on a lead sheet database. To this end, a group of feature vectors composed of 12 semitones is extracted from the notes in each bar of monophonic melodies. In order to ensure that the data shares uniform key and duration characteristics, the key and the time signatures of the vectors are normalized. The BLSTM networks then learn from the data to incorporate the temporal dependencies to produce a chord progression. Both quantitative and qualitative evaluations are conducted by comparing the proposed method with the conventional HMM and DNN-HMM based approaches. Proposed model achieves 23.8% and 11.4% performance increase from the other models, respectively. User studies further confirm that the chord sequences generated by the proposed method are preferred by listeners.

연구 동기 및 목표

• 동시 음의 층을 형성해야 하는 단성 멜로디에서 일관된 코드 진행을 생성하는 데 도전하는 데 목적을 두며.
• 멜로디 데이터의 시간적 의존성을 모델링하여 음악적으로 타당한 코드 시퀀스를 생성하는 데 목적을 두며.
• 딥 러닝을 활용하여 기존의 HMM 및 DNN-HMM 접근 방식을 개선하는 데 목적을 두며.
• 학습 데이터 전반에 걸쳐 키와 지속 시간의 균일성을 확보하기 위해 특징 벡터의 정규화를 통해.

제안 방법

• 각 바의 단성 멜로디에서 12음계로 구성된 특징 벡터를 추출하여 음고 내용을 표현한다.
• 각 특징 벡터의 키와 시간_SIGNATURE를 정규화하여 데이터셋 전반에 걸쳐 일관된 톤과 리듬 특성을 확보한다.
• 정규화된 멜로디 데이터의 순차적 의존성을 학습하기 위해 이방향 장기 단기 기억(BlSTM) 네트워크를 훈련시킨다.
• 멜로디에서 코드 진행으로의 매핑을 학습하기 위해 리드 시트 데이터베이스를 사용하여 BLSTM 모델을 훈련시킨다.
• 이중 방향 아키텍처를 활용하여 멜로디의 과거와 미래 맥락을 모두 포착하여 코드 예측 성능을 향상시킨다.
• 시간적 모델링을 적용하여 입력 멜로디의 리듬적 및 화성적 구조와 일치하는 코드 시퀀스를 생성한다.

실험 결과

연구 질문

• RQ1 BLSTM 네트워크는 단성 멜로디의 시간적 의존성을 효과적으로 모델링하여 음악적으로 타당한 코드 진행을 생성할 수 있는가?
• RQ2 제안된 BLSTM 기반 방법의 성능은 기존의 HMM 및 DNN-HMM 접근 방식과 비교해 어떻게 되는가?
• RQ3 청취자들은 BLSTM 모델이 생성한 코드 진행을 기준 모델의 결과보다 어느 정도 더 선호하는가?
• RQ4 키와 시간_SIGNATURE의 정규화가 코드 생성의 일관성과 품질을 향상시키는 데 기여하는가?

주요 결과

• 제안된 BLSTM 모델은 기존의 HMM 기반 접근 방식 대비 코드 생성 정확도에서 23.8% 향상된 성과를 달성했다.
• 모델는 DNN-HMM 기준 모델 대비 11.4% 성능 향상을 보였으며, 순차적 의존성의 더 우수한 모델링을 시사한다.
• 사용자 연구 결과, 청취자들이 BLSTM 모델이 생성한 코드 시퀀스를 기준 방법의 결과보다 더 선호하는 것으로 나타났다.
• 키와 시간_SIGNATURE의 정규화가 더 일관되고 화성적으로 조화로운 코드 진행을 만들어내는 데 기여했다.
• BLSTM 모델은 멜로디의 장기적 시간적 의존성을 효과적으로 포착하여 더 음악적으로 타당한 코드 시퀀스를 생성했다.
• 이 방법은 입력 멜로디의 리듬적 및 화성적 구조와 잘 맞는 코드 진행을 성공적으로 생성했다.