[논문 리뷰] Synthesizing Personalized Non-speech Vocalization from Discrete Speech Representations

Chin-Cheng Hsu|arXiv (Cornell University)|2022. 06. 25.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 HUBERT에서 유도한 이산 음성 단위를 사용하여 개인화된 비음성 발화(NSV)를 합성하는 텍스트-to-음성(TTS) 프레임워크를 제안한다. HUBERT 단위에서 유도된 가짜 음소를 사용해 NSV를 텍스트-to-음성 작업으로 간주함으로써, 소수의 훈련 데이터와 이질적인 녹음 조건에도 불구하고 제작자 음색을 제어 가능한 방식으로 NSV를 성공적으로 합성하였으며, 이는 NSV 데이터로부터 음성 변환 및 발화자 모델링의 가능성을 입증한다.

ABSTRACT

We formulated non-speech vocalization (NSV) modeling as a text-to-speech task and verified its viability. Specifically, we evaluated the phonetic expressivity of HUBERT speech units on NSVs and verified our model's ability to control over speaker timbre even though the training data is speaker few-shot. In addition, we substantiated that the heterogeneity in recording conditions is the major obstacle for NSV modeling. Finally, we discussed five improvements over our method for future research. Audio samples of synthesized NSVs are available on our demo page: https://resemble-ai.github.io/reLaugh.

연구 동기 및 목표

• 자료 부족, 즉흥성, 표준화된 형태 부재로 인한 비음성 발화(NSV) 모델링 과제 해결
• 이산 음성 표현(HUBERT 단위)이 NSV 합성에 의미 있는 텍스트 유사 입력으로 기능할 수 있는지 탐구
• 소수의 데이터로 각 발화자당 훈련된 경우에도 NSV 합성에서 발화자 음색을 제어할 수 있는지 평가
• 이질적인 녹음 조건이 발화자 임베딩 공간과 모델 일반화 능력에 미치는 영향 평가
• 엔드 투 엔드 TTS 프레임워크를 활용한 NSV 기반 음성 변환 및 발화자 모델링 잠재력 탐색

제안 방법

• 사전 훈련된 HUBERT 모델과 K-평균 군집화(100개 군집)를 사용해 NSV 오디오를 가짜 음소로 변환한 후, 연속된 단위의 열로 압축하여 이산 단위 시퀀스 생성
• 변형된 FastSpeech2 아키텍처를 사용하여 트랜스포머 대신 확장된 컨볼루션을 사용하고, 지속 시간 예측기와 병렬 주파수 예측기로 가짜 음소에서 멜-스펙트로그램과 주파수 경로를 예측
• 발화자 레이블을 조건으로 하여 발화자별 합성을 가능하게 하며, 백프로파게이션을 통해 발화자 임베딩 업데이트
• HooliGAN을 사용해 예측된 멜-스펙트로그램과 주파수 경로를 웨이브폼으로 변환함. 이는 조화파-노이즈 모델링 기반 신경망 보이스코더
• ExVo 데이터셋에서 엔드 투 엔드로 훈련하며, 훈련 중에 진짜 멜-스펙트로그램과 정렬된 업샘플드된 가짜 음소 시퀀스 사용
• 임의의 발화자 레이블을 사용해 추론 기능을 활성화하여 음색을 유지하면서도 음소적 내용을 그대로 보존

실험 결과

연구 질문

• RQ1 HUBERT의 이산 음성 단위가 비음성 발화에 대해 표현력 있고 의미 있는 표현으로 기능할 수 있는가?
• RQ2 다양한 NSV를 소수의 데이터로 발화자 정체성 제어를 통해 효과적으로 합성할 수 있는 다발화자 텍스트-to-음성 시스템이 가능한가?
• RQ3 이질적인 녹음 조건이 NSV 모델링에서 학습된 발화자 임베딩 공간을 어느 정도 왜곡하는가?
• RQ4 다른 NSV 클립 간에 발화자 정체성을 이전할 때 모델이 음소적 내용을 유지하는가?
• RQ5 자기학습된 음성 표현을 사용한 NSV 합성의 주요 한계점과 향후 개선 방향은 무엇인가?

주요 결과

• HUBERT의 이산 단위(가짜 음소로 간주)는 다양한 NSV의 음소적 내용을 충분히 표현할 수 있어 다양한 입력에서 일관된 합성 가능
• ExVo Generate 벤치마크에서 웃음에 대해 0.79, 경외감에 대해 0.51의 발화자 유사도 정밀도를 달성하여 베이스라인(각각 0.49 및 0.46)을 크게 뛰어넘음
• 합성된 NSV의 Fréchet Inception Distance(FID)는 0.52 ± 0.03(Syn-1000) 및 0.81 ± 0.11(Syn-100)로 높은 청각적 품질과 일반화 능력을 나타냄
• 모델이 학습한 발화자 임베딩은 주로 녹음 조건(예: 컷오프 주파수, 코덱, 리버브)에 의해 구성되며, 발화자 정체성보다 더 큰 영향을 미침으로써 녹음 변동성이 임베딩 공간을 지배함을 시사함
• 모델은 음소적 내용을 유지하면서도 NSV 간에 발화자 음색을 성공적으로 이전함으로써 NSV 데이터로부터 음성 변환의 가능성을 확인함
• 모델 성능은 녹음 조건의 이질성으로 인해 제한되며, 녹음 효과와 발화자 정체성을 분리하는 것이 강건성을 크게 향상시킬 수 있음