[논문 리뷰] SampleRNN: An Unconditional End-to-End Neural Audio Generation Model

Soroush Mehri, Kundan Kumar외 6명|arXiv (Cornell University)|2016. 12. 22.

Music and Audio Processing인용 수 362

한 줄 요약

SampleRNN은 원시 오디오 파형을 끝까지 모델링하기 위한 계층적 다속도 RNN 프레임워크를 도입하여 무조건적 오디오 생성에서 베이스라인을 능가하고 사람의 선호 샘플을 보여준다.

ABSTRACT

In this paper we propose a novel model for unconditional audio generation based on generating one audio sample at a time. We show that our model, which profits from combining memory-less modules, namely autoregressive multilayer perceptrons, and stateful recurrent neural networks in a hierarchical structure is able to capture underlying sources of variations in the temporal sequences over very long time spans, on three datasets of different nature. Human evaluation on the generated samples indicate that our model is preferred over competing models. We also show how each component of the model contributes to the exhibited performance.

연구 동기 및 목표

• 손으로 설계한 특징 없이 원시 오디오의 무조건적 생성을 촉진한다.
• 장기적 시계열 구조를 포착하는 다계층 RNN 아키텍처를 개발한다.
• 다양한 오디오 도메인(음성, 음성적 소리, 음악)에 걸친 성능을 평가한다.
• 자가회귀 기반 베이스라인 및 WaveNet 유사 모델과 비교한다.
• 제안된 모델의 샘플에 대해 인간의 선호를 증명한다.

제안 방법

• 오토회귀 프레임워크를 사용하여 오디오 시퀀스의 확률을 조건부의 곱으로 모델링한다.
• 다른 시간 해상도에서 작동하는 프레임 수준 RNN 모듈의 계층을 구성한다.
• 다음 샘플 분포를 모델링하기 위해 이산 출력이 있는 샘플-수준 MLP를 사용한다.
• 퍼오퍼레이티드 업샘플링(perforated upsampling)을 통해 상위 티어의 조건 벡터를 하위 티어로 피드하는 업샘플링을 사용한다.
• TBPTT(truncated backpropagation through time)와 교사 강제(teacher forcing)로 엔드 투 엔드로 학습한다.
• 오디오를 256 레벨로 양자화하고(선택적으로) 샘플-수준 MLP 앞에서 입력 임베딩을 한다.

실험 결과

연구 질문

• RQ1 다계층 다스케일 RNN 모델이 원시 오디오의 장거리 의존성을 단일 스케일 모델보다 더 잘 포착할 수 있는가?
• RQ2 프레임 수준 대 샘플 수준 모델링이 무조건적 오디오 생성 품질에 어떤 영향을 미치는가?
• RQ3 SampleRNN은 다양한 오디오 데이터셋에서 WaveNet 및 전통적인 RNN 베이스라인과 어떻게 비교되는가?
• RQ4 출력 분포를 이산화(다항 분포)하면 연속 실수 출력보다 생성 품질이 개선되는가?
• RQ5 메모리 깊이와 연속 부분 길이가 학습 및 생성 품질에 어떤 영향을 미치는가?

주요 결과

모델	Blizzard	Onomatopoeia	Music
RNN (Eq. 2)	1.434	2.034	1.410
WaveNet (re-impl.)	1.480	2.285	1.464
SampleRNN (2-tier)	1.392	2.026	1.076
SampleRNN (3-tier)	1.387	1.990	1.159

• SampleRNN(3-계층)은 Blizzard, Onomatopoeia, Music 데이터셋에서 강한 로그가능도(log-likelihood) 점수를 달성하며 여러 메트릭에서 RNN 및 WaveNet 베이스라인을 능가한다.
• SampleRNN(2-계층) 및 (3-계층)은 Blizzard, Onomatopoeia, Music 데이터셋의 테스트 NLL에서 베이스라인을 능가한다(Blizzard/Music 비교에서 각각 1.392 대 1.434/1.480/1.410).
• 실수값 출력 변형은 이산(256-빈) 출력에 비해 성능이 떨어지며 이산 모델링이 더 나은 가능도를 제공한다.
• 메모리 분석은 SampleRNN이 수 초 동안 화자 정체성을 유지하고 침묵에도 일관성을 유지할 수 있음을 보여준다.
• 인간 평가에서 Blizzard 데이터에 대한 SampleRNN(3-계층) 샘플이 경쟁 모델보다 강하게 선호되었으며 Music에서도 유사한 경향을 보였다.
• 부분 수열 길이가 512까지는 검증 NLL를 개선하여 TBPTT 중 더 긴 컨텍스트의 이점을 시사한다.