[논문 리뷰] Song From PI: A Musically Plausible Network for Pop Music Generation

Hang Chu, Raquel Urtasun외 1명|arXiv (Cornell University)|2016. 11. 10.

Music and Audio Processing인용 수 32

한 줄 요약

이 논문은 음악 이론을 반영한 구조적 아키텍처를 사용하여 멜로디, 코드, 드럼을 체계적으로 모델링하는 계층적 순환 신경망을 제안한다. 인간 평가 결과, 구글이 생성한 기준 모델 대비 출력 품질에서 유의미한 선호도를 보였으며, 신경 춤추기 및 노래방 애플리케이션 등 새로운 음악 생성 응용 분야를 가능하게 한다.

ABSTRACT

We present a novel framework for generating pop music. Our model is a hierarchical Recurrent Neural Network, where the layers and the structure of the hierarchy encode our prior knowledge about how pop music is composed. In particular, the bottom layers generate the melody, while the higher levels produce the drums and chords. We conduct several human studies that show strong preference of our generated music over that produced by the recent method by Google. We additionally show two applications of our framework: neural dancing and karaoke, as well as neural story singing.

연구 동기 및 목표

• 음악 이론을 신경망 아키텍처에 통합하여 일관되고 음악적으로 타당한 팝 곡을 생성하는 음악 생성 프레임워크를 개발한다.
• 기존 모델이 단일 음절 멜로디만 생성하는 한계를 해결하기 위해 멜로디, 코드, 드럼을 동시에 모델링하는 다트랙크 음악 생성을 목표로 한다.
• 음악 기반 3D 스틱맨 애니메이션(신경 춤추기)과 음악에 동기화된 가사 생성(노래방)과 같은 새로운 응용 분야를 가능하게 한다.
• 이미지 캡션과 같은 비음악적 입력에서 시작하여 종단 간 음악 생성을 탐색한다.
• 인간 평가 및 추론 분석을 통해 모델의 우월성을 검증한다.

제안 방법

• 낮은 계층은 멜로디를 생성하고, 높은 계층은 코드와 드럼을 생성하는 계층적 RNN 아키텍처를 사용하며, 각 계층은 이전 계층에 조건을 두어 시간적 일관성을 확보한다.
• 멜로디 생성기는 스케일 유형(예: A harmonic minor)에 조건을 두어 음악 이론 지식을 모델 아키텍처에 통합한다.
• Just Dance 영상의 2D 및 3D 인간 자세를 추출하기 위해 3D 자세 추정 파이프라인을 사용하며, 이를 456개의 운동 패턴으로 군집화하여 신경 춤추기 응용을 구현한다.
• 노래방 응용을 위해 가사는 LRC 형식을 사용해 MIDI와 시간적으로 정렬되며, 3390개의 단어 어휘를 바탕으로 소프트맥스 출력을 통해 1비트당 1개의 가사를 생성하는 단어 수준의 생성 레이어를 사용한다.
• 신경 스토리 시팅은 Kiros 등이 개발한 신경 스토리텔러를 사용해 이미지에서 캡션을 생성하고, 이를 프ofile 조건이 부여된 LSTM을 통해 음정에 맞는 노래로 변환한다.
• 자세 및 가사 생성에 대해 교차 엔트로피 손실을 사용하며, 추론 과정에서 이동 평균을 적용하여 시간적 스무딩을 통해 운동과 가사의 유창성을 향상시킨다.

실험 결과

연구 질문

• RQ1 음악 이론을 통합한 계층적 RNN 아키텍처가 기존의 단일 트랙 또는 비계층적 모델 대비 더 음악적으로 타당한 팝 곡을 생성할 수 있는가?
• RQ2 스케일 유형에 조건을 두는 것이 생성된 음악의 멜로디 품질과 톤 일관성에 기여하는가?
• RQ3 동일한 음악 생성 프레임워크를 사용해 시간적으로 정확하게 동기화된 춤 동작과 가사를 생성할 수 있는가?
• RQ4 비구조적 이미지 캡션에서 시작해 부르기 쉬운 곡을 생성할 수 있으며, 음정과 리듬 일관성이 유지되는가?
• RQ5 인간 평가에서 강력한 기준 모델(예: 구글의 Magenta)과 비교해 생성된 음악의 감성적 품질은 어떻게 평가되는가?

주요 결과

• 인간 평가 결과, 제안된 모델이 생성한 음악이 구글의 Magenta 기준 모델보다 통계적으로 유의미하게 선호되었으며, 참가자들은 이를 더 음악적으로 타당하고 즐거운 것으로 평가했다.
• 추론 분석 결과 계층적 아키텍처와 스케일 조건부 설정이 음악 품질 향상에 기여하며, 이들 요소를 제거할 경우 일관성과 즐거움이 떨어지는 출력이 발생함을 확인했다.
• 신경 춤추기 응용은 음악과 시간적으로 정렬된 3D 스틱맨 애니메이션을 성공적으로 생성했으며, 대부분의 경우 자연스럽고 리듬에 맞는 운동 시퀀스를 보였다.
• 노래방 응용은 음악과 잘 맞는 가사를 생성했으며, 1비트당 1개의 단어를 생성하고 문장 구분도 적절히 처리해 노래 따라 부르기 기능을 가능하게 했다.
• 신경 스토리 시팅은 이미지 캡션을 리듬적이고 부를 수 있는 곡으로 성공적으로 변환했으며, 음정 제약이 있는 보컬 출력을 유지함으로써 모odal 간 일반화 능력을 입증했다.
• 100시간의 MIDI 음악 데이터라는 비교적 작은 데이터셋에도 불구하고 높은 품질의 음악 생성을 달성했으며, 이는 음악 이론에서 유도된 강력한 인덕티브 바이어스가 샘플 효율성을 향상시킨다는 것을 시사한다.