[논문 리뷰] Generative Modelling for Controllable Audio Synthesis of Expressive Piano Performance

Hao Tan, Yin-Jyun Luo외 1명|arXiv (Cornell University)|2020. 06. 16.

Music and Audio Processing참고 문헌 11인용 수 4

한 줄 요약

이 논문은 온셋 롤에서 표현적인 피아노 연주를 생성할 수 있는 가우시안 믹스처 변동형 자동인코더(GM-VAE) 기반의 제어 가능한 신경 음원 합성기 모델을 제안한다. 이는 연주 기교(스태카토/레가토)와 강약(낮은/높은)에 대한 잠재 변수를 조건으로 하여 시간에 따라 세밀한 스타일 변형을 가능하게 한다. 모델은 스타일 간 점진적인 전환을 통해 자연스러운 음원 합성을 구현하며, 스타일 요소를 참조 음원에서 추론함으로써 연주 스타일 이식도 가능하다.

ABSTRACT

We present a controllable neural audio synthesizer based on Gaussian Mixture Variational Autoencoders (GM-VAE), which can generate realistic piano performances in the audio domain that closely follows temporal conditions of two essential style features for piano performances: articulation and dynamics. We demonstrate how the model is able to apply fine-grained style morphing over the course of synthesizing the audio. This is based on conditions which are latent variables that can be sampled from the prior or inferred from other pieces. One of the envisioned use cases is to inspire creative and brand new interpretations for existing pieces of piano music.

연구 동기 및 목표

• MIDI 온셋 롤에서 직접 표현적인 피아노 연주를 생성하는 신경 음원 합성기를 개발하여, 프레임 수준 및 속도 수준의 MIDI 데이터가 필요로 하는 것을 피하는 것.
• 음원 도메인에서 기교와 강약과 같은 표현적 연주 특성에 대해 세밀하고 제어 가능한 조작을 가능하게 하는 것.
• 표현적 요소를 잠재 공간에서 분리함으로써 창의적 음악 응용 분야인 점진적 스타일 변형과 연주 스타일 이식을 지원하는 것.
• 노트 샘플을 붙여서 사용하거나 고정된 피아노 시뮬레이션에 의존하는 전통적 합성 방법의 한계를 극복하는 것.

제안 방법

• 모델는 기교(스태카토/레가토)를 위한 잠재 공간과 강약(낮은/높은)을 위한 잠재 공간을 가진 두 개의 잠재 공간에 대해 가우시안 믹스처 사전분포를 사용하는 조건부 VAE 프레임워크를 사용하여 분리된 제어를 가능하게 한다.
• 잠재 변수는 음원 데이터에서 유도된 이진 스타일 시퀀스에 의해 조건화된다: 기교는 온셋 지속 시간에 기반하고, 강약은 평균 속도에 기반한다.
• 생성 네트워크는 온셋 롤과 스타일 조건부 잠재 벡터에서 Mel-스펙트로그램을 합성하기 위해 이중층 양방향 LSTM을 사용한다.
• 추론 네트워크는 참조 음원에서 잠재 스타일 표현을 추정하여, 참조 곡의 스타일을 전달함으로써 연주 스타일 이식을 가능하게 한다.
• 일괄 손실 함수는 재구성 오차, 믹스처 사전분포에 대한 KL 발산, 그리고 스타일 예측을 위한 추가적인 교차 엔트로피 손실을 최적화한다.
• 생성된 Mel-스펙트로그램을 고품질 음원으로 복원하기 위해 WaveGlow가 사용되어 빠르고 고품질의 추론을 보장한다.

실험 결과

연구 질문

• RQ1 생성 모델이 음원 도메인에서 기교와 강약과 같은 표현적 피아노 연주 특성에 대해 세밀하고 연속적인 제어를 달성할 수 있는가?
• RQ2 잠재 표현은 어떻게 구성되어야 하며, 시간에 따라 다른 연주 스타일 간에 부드러운 스타일 변형을 가능하게 하는가?
• RQ3 모델은 원본 음악 콘텐츠를 유지하면서 한 곡의 표현적 스타일을 다른 곡으로 이식할 수 있는가?
• RQ4 모델은 속도 수준이나 프레임 수준의 MIDI 입력 없이도 자연스러운 음원 연주를 생성할 수 있는가?

주요 결과

• 모델은 온셋 롤만으로도 실제와 유사한 피아노 연주를 성공적으로 생성하였으며, 전체 MIDI 속도나 프레임 정보가 없이도 높은 청각적 품질을 달성하였다.
• 기교의 경우, 스타일 간 점진적 변형은 기교 잠재 공간에서의 선형 보간을 통해 달성되었으며, 이로 인해 점차 길어지는 음의 지속 시간이 관찰되었다.
• 유사하게, 강약의 경우 소리가 점차 커지고 고주파수 에너지가 증가하여 청각적으로 더 큰 에너지를 유발하는 결과를 얻었다.
• 연주 스타일 이식은 효과적이었다: 바ロック 시대 곡이 르네상스 시대 곡의 표현적 스타일로 재현되었으며, 노트 지속 시간과 음량 변화가 정확하게 전달되었다.
• 스타일 이식 과정에서 원본 음악 콘텐츠가 유지되었으며, 정렬된 피아노 롤과 Mel-스펙트로그램을 통해 일致한 노트 온셋과 톤 음정 콘텐츠가 확인되었다.
• 가우시안 믹스처 사전분포의 사용은 표현적 특성에 대한 분리되고 해석 가능한 제어를 가능하게 하여, 새로운 연주 해석 탐색에 있어 창의적 탐색을 지원한다.