[논문 리뷰] Generating Albums with SampleRNN to Imitate Metal, Rock, and Punk Bands

Cameron Carr, Zack Zukowski|arXiv (Cornell University)|2018. 06. 25.

Music and Audio Processing참고 문헌 11인용 수 10

한 줄 요약

이 논문은 원본 앨범의 원시 음성 데이터를 기반으로 단일 앨범의 음원을 학습하여 무조건적 SampleRNN을 사용해 메탈, 록, 펑크 밴드 스타일의 전체 앨범을 생성함으로써, 순자기적이고 시간 도메인 기반의 음성 생성을 제안한다. 이 방법은 음악적으로 일관된 트랙, 아트워크, 타이틀을 생성하며, 인간의 촬영이 완전 자동 생성 대비 청취 가능성과 다양성을 크게 향상시킨다.

ABSTRACT

This early example of neural synthesis is a proof-of-concept for how machine learning can drive new types of music software. Creating music can be as simple as specifying a set of music influences on which a model trains. We demonstrate a method for generating albums that imitate bands in experimental music genres previously unrealized by traditional synthesis techniques (e.g. additive, subtractive, FM, granular, concatenative). Raw audio is generated autoregressively in the time-domain using an unconditional SampleRNN. We create six albums this way. Artwork and song titles are also generated using materials from the original artists' back catalog as training data. We try a fully-automated method and a human-curated method. We discuss its potential for machine-assisted production.

연구 동기 및 목표

• 흑메탈, 수학 록, 스케이트 펑크와 같은 다소 간과된 현대 음악 장르에서 원시 음성의 신경망 합성을 탐색하기 위해.
• 최소한의 감독과 원시 음성만을 사용하여 음악, 타이틀, 아트워크를 포함한 완전한 앨범을 생성하는 방법을 개발하기 위해.
• 음악적 품질과 청취자 참여도 측면에서 완전 자동화된 대비 인간 촬영된 생성 워크플로우를 비교하기 위해.
• 신경망 합성이 기계 보조 음악 제작과 새로운 디지털 오디오 워크스테이션에 어떻게 활용될 수 있는지 탐색하기 위해.
• 무조건적 순자기 모델이 장기적인 음악적 구조를 포착하는 데에 한계를 보이며, 동시에 단기적인 톤과 리듬 정밀도를 유지하는 데에 있어 한계를 평가하기 위해.

제안 방법

• 단일 앨범의 원시 음성 데이터를 기반으로 단기 음성 패턴(예: 톤, 연주 방식, 드럼 히트 등)을 모델링하기 위해 무조건적 SampleRNN을 학습한다.
• 음성을 8초 간격으로 겹치는 FLAC 조각으로 분할하며, 학습에 88%, 테스트에 6%, 검증에 6%를 할당한다.
• 표본 수준 예측에 초점을 맞추기 위해 시간에 따라 잘라낸 역전파를 사용하여 모델을 학습하며, 국소적 음성 특징에 집중한다.
• 순자기적 샘플링을 통해 대량의 음성, 타이틀, 아트워크를 생성한 후, 출력에서 콘텐츠를 선택하거나 촬영한다.
• 모델 출력의 트랙을 선택하고 편집하기 위해 인간의 촬영 과정을 적용하며, 반복 무드와 스테레오 이미징을 위한 레이어드 드럼 패턴 정렬을 포함한다.
• 원본 아티스트 메타데이터를 기반으로 훈련된 마르코프 체인을 사용해 타이틀과 아트워크를 생성하여 스타일 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 무조건적 SampleRNN은 기호 표현 없이도 펑크나 메탈과 같은 현대 하위 장르에서 음악적으로 일관된 앨범을 생성할 수 있는가?
• RQ2 모델 출력 콘텐츠의 인간 촬영이 생성된 앨범의 청취 가능성과 구조적 일관성에 어떤 영향을 미치는가?
• RQ3 SampleRNN과 같은 원시 음성 모델이 현대 음악 제작의 스펙트럼적 및 다이나믹 특성을 어느 정도 포착할 수 있는가?
• RQ4 순자기적이고 무조건적인 생성 방식이 리프나 곡 섹션과 같은 장기적인 음악적 구조를 모델링하는 데에 얼마나 한계를 보이는가?
• RQ5 신경망 합성은 예술가들이 혼합 주도 방식으로 활용할 수 있도록 실용적인 음악 제작 워크플로우에 어떻게 통합될 수 있는가?

주요 결과

• 모델은 단일 소스 앨범의 원시 음성만을 사용하여 메탈, 펑크, 실험적 록 등 다양한 장르의 여섯 장의 전체 앨범을 성공적으로 생성하였다.
• 완전 자동 생성 대비 인간 촬영된 앨범은 청취 가능성과 음악적 다양성이 뚜렷하게 향상되었으며, 반복적이며 청취하기 어려운 경향이 있었던 완전 자동 생성은 그와 대비되었다.
• 모델은 장르 특화된 톤과 리듬 특징을 포착했으며, 예를 들어 Battles의 복합 리듬 텍스처나 NOFX의 멜로디어티브 보컬을 명시적인 장르나 구조 조건 없이도 재현하였다.
• 후속 학습 에포크에서 원본 밴드의 톤 팔레트를 더 정확하게 재현했지만, 어색한 리듬 전환으로 인해 유머러스스럽지만 미학적으로 흥미로운 효과를 만들어 냈다.
• 모델이 생성한 난해한 가사들은 팬들이 만든 '誤청 가사' 영상로 이어져 기술적 정밀도를 넘어서 문화적·미학적 공명을 보였다.
• 이 연구는 신경망 합성이 인간 촬영과 결합될 경우 새로운 디지털 음악 악기와 협업 워크플로우를 가능하게 할 잠재력을 드러내었다.