[논문 리뷰] Vector-Quantized Timbre Representation

Adrien Bitton, Philippe Esling외 1명|arXiv (Cornell University)|2020. 07. 13.

Music and Audio Processing참고 문헌 22인용 수 5

한 줄 요약

이 논문은 음색의 뚜렷한 분리와 이산적인 잠재 표현을 학습하는 VQ-VAE 기반 오토인코더를 제안하며, 음량과 분리되어 있어 탄력적인 음색 이동과 기술자 기반 합성 가능. 스펙트럼 특징을 코드북에 양자화하고 이를 음향 기술자와 연결함으로써, 음성 기반 음색 이동과 일관된 스펙트럼 형상 조절을 포함한 직관적 고수준 제어를 가능하게 함.

ABSTRACT

Timbre is a set of perceptual attributes that identifies different types of sound sources. Although its definition is usually elusive, it can be seen from a signal processing viewpoint as all the spectral features that are perceived independently from pitch and loudness. Some works have studied high-level timbre synthesis by analyzing the feature relationships of different instruments, but acoustic properties remain entangled and generation bound to individual sounds. This paper targets a more flexible synthesis of an individual timbre by learning an approximate decomposition of its spectral properties with a set of generative features. We introduce an auto-encoder with a discrete latent space that is disentangled from loudness in order to learn a quantized representation of a given timbre distribution. Timbre transfer can be performed by encoding any variable-length input signals into the quantized latent features that are decoded according to the learned timbre. We detail results for translating audio between orchestral instruments and singing voice, as well as transfers from vocal imitations to instruments as an intuitive modality to drive sound synthesis. Furthermore, we can map the discrete latent space to acoustic descriptors and directly perform descriptor-based synthesis.

연구 동기 및 목표

• 음량과 독립적인 개별 음색의 분리된 이산 잠재 표현을 개발하기 위해.
• 오케스트라 악기와 노래하는 목소리 포함 다양한 오디오 소스 간에 탄력적인 음색 이동을 가능하게 하기 위해.
• 이산 잠재 벡터를 음향 특성과 매핑하여 고수준 기술자 기반 음향 합성을 지원하기 위해.
• 음성 모방을 통해 음색 합성을 제어할 수 있도록 하기 위해.
• 직접 오디오 합성을 위해 해석 가능한 분리된 음색 특성 표현을 제공하기 위해.

제안 방법

• 모델은 원시 웨이브포맷에서 훈련된 VQ-VAE 오토인코더로, 목표 음색의 단기 스펙트럼 특징을 나타내는 이산 잠재 코드북을 학습함.
• 모델은 RNN 기반 디코더를 사용하여 잠재 벡터에서 유도된 계수로 노이즈 입력을 필터링함으로써 오버랩-애드 서브트랙티브 합성 방식으로 오디오를 생성함.
• 음량이 잠재 공간에서 명시적으로 분리되어 있어 음색 이동이 음고와 음량을 별도로 유지함.
• 이산 잠재 벡터와 음향 기술자(예: 스펙트럼 중심, 대역폭) 간의 매핑을 학습하여 직접적인 합성 제어를 가능하게 함.
• 모든 입력 신호를 학습된 이산 잠재 코드로 인코딩한 후, 음색 전용 모델로 디코딩하여 음색 이동을 수행함.
• 모델은 가변 길이 입력 신호를 지원하며, 악기 간 이동과 음성 모방에서 악기로의 이동을 평가함.

실험 결과

연구 질문

• RQ1 원시 웨이브포맷에서 음량과 독립적인 이산적이고 분리된 음색 표현을 학습할 수 있는가?
• RQ2 이 표현이 오케스트라 악기와 노래하는 목소리를 포함한 다양한 오디오 소스 간에 고해상도 음색 이동을 가능하게 하는가?
• RQ3 이산 잠재 공간을 음향 기술자로 매핑하여 직접적인 기술자 기반 음향 합성을 가능하게 할 수 있는가?
• RQ4 음성 모방이 음색 합성 제어 신호로 효과적으로 사용될 수 있는가?
• RQ5 모델이 음색 이동 중 기본 주파수와 음량을 유지하여 청각적 일관성을 확보하는가?

주요 결과

• 모델은 오케스트라 악기와 노래하는 목소리 간에 음색 이동을 성공적으로 수행하였으며, 낮은 기본 주파수와 음량 재구성 오차를 보이며 음고와 다이내믹스가 유지됨을 시사함.
• 음성 모방이 악기 음색으로 효과적으로 전이되었으며, 음고 정확도가 떨어지는 입력 없이도 음성 기반 음향 합성이 가능함을 입증함.
• 이산 잠재 공간은 스펙트럼 중심과 대역폭와 같은 음향 기술자로 직접 매핑 가능하여 기술자 기반 합성을 통한 일관된 스펙트럼 형상 조절이 가능함.
• 모델은 제한 없이 신호 유형이나 지속 시간에 관계없이 고품질 오디오를 생성하며, 이동 과정에서 청각적 일관성을 유지함.
• 잠재 벡터와 음향 기술자 간의 매핑은 코드북 인덱스 위치와 음향 유사도 간 상관관계가 없음을 확인하여, 학습된 기술자 매핑의 필요성을 확인함.
• 잠재 투영 과정에서 음향적으로 일관되지 않은 특징을 기각함으로써 노이즈 제거와 유사한 강건성을 확보하여 다양한 녹음 조건에서도 이동 성능 향상