[논문 리뷰] A Framework for Automated Pop-song Melody Generation with Piano Accompaniment Arrangement

Ziyu Wang, Gus Xia|arXiv (Cornell University)|2018. 12. 28.

Music and Audio Processing참고 문헌 7인용 수 4

한 줄 요약

이 논문은 코드 진행을 입력으로 사용하여 자동으로 팝송 멜로디와 피아노 악보를 생성하기 위한 통합 프레임워크를 제시한다. 조화 교환 모델, 계절적 ARMA 기반 멜로디 생성 모델, 멜로디 통합 모델을 활용하여 음악적으로 일관된 결과를 도출하며, 이는 양방향 LSTM 기반 베이스라인과 비교해 주관적 평가에서 유의미하게 높은 점수를 기록했고, Band in a Box와 같은 상용 소프트웨어와 비교해도 경쟁 가능한 성능을 보였다.

ABSTRACT

We contribute a pop-song automation framework for lead melody generation and accompaniment arrangement. The framework reflects the major procedures of human music composition, generating both lead melody and piano accompaniment by a unified strategy. Specifically, we take chord progression as an input and propose three models to generate a structured melody with piano accompaniment textures. First, the harmony alternation model transforms a raw input chord progression to an altered one to better fit the specified music style. Second, the melody generation model generates the lead melody and other voices (melody lines) of the accompaniment using seasonal ARMA (Autoregressive Moving Average) processes. Third, the melody integration model integrates melody lines (voices) together as the final piano accompaniment. We evaluate the proposed framework using subjective listening tests. Experimental results show that the generated melodies are rated significantly higher than the ones generated by bi-directional LSTM, and our accompaniment arrangement result is comparable with a state-of-the-art commercial software, Band in a Box.

연구 동기 및 목표

• 팝송을 위한 인간의 음악 창작 과정을 모방하는 자동화된 프레임워크를 개발하기 위해.
• 통합적이고 체계적인 방식으로 리드 멜로디와 피아노 악보를 동시에 생성하기 위해.
• 통계적 모델링과 조화 정련을 통해 멜로디 품질 향상과 악보의 일관성 향상을 위해.
• 기존 방법과의 비교를 위해 주관적 청취 테스트를 통해 프레임워크의 성능을 평가하기 위해.

제안 방법

• 조화 교환 모델은 스타일 인식 전환을 사용하여 원시적인 코드 진행을 목표 음악 스타일에 더 잘 맞게 수정한다.
• 멜로디 생성 모델은 계절적 ARMA 과정을 사용하여 리드 멜로디와 악보를 위한 추가 보이스를 생성한다.
• 멜로디 통합 모델은 여러 개의 생성된 보이스를 하나의 최종적이고 연주 가능한 피아노 악보 텍스처로 통합한다.
• 프레임워크는 코드 진행을 입력으로 받아 멜로디와 악보가 모두 포함된 음악적으로 일관된 팝송을 출력한다.
• 모든 구성 요소는 음악적 일관성을 보장하기 위해 단일이고 종단 간 엔드 투 엔드 파이프라인 내에서 훈련 및 평가된다.
• 시스템은 청취자의 주관적 평가를 통해 청각적 품질과 음악성의 수준을 평가하기 위해 주관적 청취 테스트를 실시한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 코드 진행에서 음악적으로 일관된 팝송 멜로디와 피아노 악보를 생성할 수 있는가?
• RQ2 양방향 LSTM과 같은 순환 모델에 비해 계절적 ARMA 과정의 사용이 멜로디 생성에 어떤 영향을 미치는가?
• RQ3 조화 교환 모델은 코드 진행의 스타일 적합도를 어느 정도 향상시키는가?
• RQ4 통합 출력 결과는 상용 소프트웨어와 비교해 어떤 수준의 인식 품질을 보이는가?
• RQ5 각 구성 요소(조화, 멜로디, 통합)가 최종 음악 출력에 미치는 상대적 영향은 어떠한가?

주요 결과

• 주관적 청취 테스트에서 생성된 멜로디는 이중 방향 LSTM 기반 베이스라인에 비해 유의미하게 높은 평가를 받았다.
• 프레임워크의 악보 배열은 최첨단 상용 소프트웨어인 Band in a Box의 결과와 비교해 유사한 수준의 평가를 받았다.
• 조화 교환 모델은 목표 음악 스타일에 맞는 코드 진행의 적합도를 성공적으로 향상시켜 전체적인 음악적 일관성을 높였다.
• 계절적 ARMA 기반 멜로디 생성 모델은 순환 기반 베이스라인에 비해 더 높은 리듬적·멜로디적 구조성을 보였다.
• 멜로디 통합 모델은 비음화나 보이스 충돌 없이 다수의 보이스를 균형 잡히고 연주 가능한 피아노 텍스처로 효과적으로 통합했다.
• 전체 프레임워크는 강력한 음악성과 일관성을 보였으며, 이는 모듈화된 통합 설계의 효과성을 입증했다.