[논문 리뷰] Latent Space Explorations of Singing Voice Synthesis using DDSP

Juan Carlos Vila Alonso, Cumhur Erkut|arXiv (Cornell University)|2021. 03. 12.

Music and Audio Processing참고 문헌 22인용 수 6

한 줄 요약

이 논문은 소규모로 처리되지 않은 오디오 데이터셋을 사용해 12시간 내에 훈련을 마치고도 음고와 음량 조건만으로 현실적이며 가수를 식별할 수 있는 보컬을 생성하는 경량 DDSP 기반 아키텍처를 제시한다. MFCC에서 유도된 잠재 공간 표현을 도입함으로써 모델은 음성의 명료성과 톤의 정확성을 크게 향상시켜, 최소한의 데이터와 설정으로도 표현력 있고 노래 같은 출력을 가능하게 한다.

ABSTRACT

Machine learning based singing voice models require large datasets and lengthy training times. In this work we present a lightweight architecture, based on the Differentiable Digital Signal Processing (DDSP) library, that is able to output song-like utterances conditioned only on pitch and amplitude, after twelve hours of training using small datasets of unprocessed audio. The results are promising, as both the melody and the singer's voice are recognizable. In addition, we present two zero-configuration tools to train new models and experiment with them. Currently we are exploring the latent space representation, which is included in the DDSP library, but not in the original DDSP examples. Our results indicate that the latent space improves both the identification of the singer as well as the comprehension of the lyrics. Our code is available at https://github.com/juanalonso/DDSP-singing-experiments with links to the zero-configuration notebooks, and our sound examples are at https://juanalonso.github.io/DDSP-singing-experiments/ .

연구 동기 및 목표

• 소규모 데이터와 짧은 훈련 시간으로도 최소한의 자원을 요구하는 경량이고 효율적인 DDSP 기반 보컬 합성 모델을 개발하기.
• 잠재 공간 표현이 보컬 합성에서 음성의 명료성과 톤 정확성에 미치는 영향을 조사하기.
• 많은 머신러닝 전문 지식 없이도 보컬 합성 모델을 훈련하고 실험할 수 있도록 접근성 있는 설정이 없는 도구를 만들기.
• DDSP가 단음정도의 악기 외에도 인간의 보컬 음성의 표현적이고 복잡한 특성을 효과적으로 모델링할 수 있음을 입증하기.

제안 방법

• 모델은 DDSP 라이브러리를 사용해 f0와 음량에서 오디오를 재구성하며, 기저파와 감쇠 합성기법을 기반으로 한 미세 조절 가능한 프레임워크를 구현한다.
• 원본 오디오에서 추출한 MFCC에 조건을 주어 잠재 공간을 학습함으로써 보컬 톤과 자음 내용을 더 잘 표현할 수 있도록 한다.
• 다중 해상도 스펙트로그램 손실을 사용해 주어진 오디오와 생성된 오디오 간의 주파수 도메인 일치를 위해 엔드 투 엔드로 훈련한다.
• 실제 환경 조건인 배경 잡음과 음고 추정 오류 등에 대해 일반화 능력과 강건성을 테스트하기 위해 소규모로 처리되지 않은 오디오 데이터셋을 사용한다.
• 사용자가 맞춤형 데이터 전처리나 복잡한 설정 없이도 훈련과 추론을 수행할 수 있도록 설정이 없는 Jupyter 노트북을 제공한다.
• 기울기 전파가 가능하고 해석이 쉬운 디지털 신호 처리(DSP) 구성 요소(오실레이터, 필터, 음압 프로파일)를 활용해 훈련 중에 안정적인 기울기 흐름을 확보한다.

실험 결과

연구 질문

• RQ1 소규모 데이터와 처리되지 않은 오디오로 12시간 내에 훈련을 마치고도 음고와 음량 조건만으로 표현력 있고 가수를 식별할 수 있는 보컬을 생성할 수 있는가?
• RQ2 MFCC에서 유도된 잠재 공간 표현을 도입할 경우 보컬 합성에서 음성의 명료성과 톤 품질에 어떤 영향을 미치는가?
• RQ3 DDSP는 최소한의 데이터와 전처리 없이도 표현력 있는 복잡한 보컬 신호에 얼마나 잘 일반화되는가?
• RQ4 설정이 없는 도구가 DDSP를 사용한 보컬 합성 실험에 있어 비전문가의 진입 장벽을 얼마나 낮출 수 있는가?

주요 결과

• 소규모로 처리되지 않은 데이터셋을 사용해 단 12시간 내에 훈련을 마친 후에도, 원래 가수의 음성으로 인식 가능한 노래 같은 발화를 생성한다.
• MFCC에서 유도된 잠재 공간 표현을 도입함으로써 음고와 음량 조건만으로 훈련한 경우에 비해 가사 이해도와 보컬 톤의 정확성이 크게 향상된다.
• 대규모 데이터셋이나 광범위한 전처리 없이도 높은 품질의 보컬 합성을 달성했으며, 배경 잡음과 음고 추정 오류에 대해서도 강건함을 입증했다.
• 설정이 없는 노트북을 통해 사용자는 최소한의 설정으로 모델을 훈련하고 추론할 수 있어, SMC 커뮤니티 내에서 실험과 도입을 가속화한다.
• 결과적으로 DDSP가 보컬 합성에 적합하며, 떨림, 음량 변화, 발음 조절과 같은 표현적 보컬 기능을 확장해 지원할 수 있음을 확인했다.
• 저자들은 기존 DDSP 모델(예: 플루트, 바이올린)과의 호환성을 입증해, 훈련된 구성 요소의 상호 운용성과 재사용 가능성을 보여주었다.