[논문 리뷰] TVTSyn: Content-Synchronous Time-Varying Timbre for Streaming Voice Conversion and Anonymization

Waris Quamer, Mu-Ruei Tseng외 2명|arXiv (Cornell University)|2026. 02. 10.

Speech Recognition and Synthesis인용 수 0

한 줄 요약

TVTSyn은 콘텐츠-동기화된 시간변화 음색 표현을 스트리밍 음성 변환 및 익명화에 도입하여, 동적 콘텐츠를 시간변화 음색과 정렬시키고 80 ms 미만의 대기 시간에서 더 나은 프라이버시-유틸리티 균형을 달성한다.

ABSTRACT

Real-time voice conversion and speaker anonymization require causal, low-latency synthesis without sacrificing intelligibility or naturalness. Current systems have a core representational mismatch: content is time-varying, while speaker identity is injected as a static global embedding. We introduce a streamable speech synthesizer that aligns the temporal granularity of identity and content via a content-synchronous, time-varying timbre (TVT) representation. A Global Timbre Memory expands a global timbre instance into multiple compact facets; frame-level content attends to this memory, a gate regulates variation, and spherical interpolation preserves identity geometry while enabling smooth local changes. In addition, a factorized vector-quantized bottleneck regularizes content to reduce residual speaker leakage. The resulting system is streamable end-to-end, with <80 ms GPU latency. Experiments show improvements in naturalness, speaker transfer, and anonymization compared to SOTA streaming baselines, establishing TVT as a scalable approach for privacy-preserving and expressive speech synthesis under strict latency budgets.

연구 동기 및 목표

• 스트리밍 VC/SA에서 정적-동적 불일치를 해소하기 위해 시간-변화 음색 표현을 도입한다.
• Global Timbre Memory를 사용하여 프레임-동기화 음색을 생성하는 완전한 스트리밍, 저지연 아키텍처를 개발한다.
• 잔류 화자 누출을 줄이면서 언어적 내용을 보존하기 위해 콘텐츠를 규칙화한다.
• 엄격한 대기 시간 예산 하에서 VoicePrivacy Challenge 프로토콜에 따른 프라이버시와 유용성 성능을 입증한다.

제안 방법

• Global Timbre Memory(GTM)를 도입하여 글로벌 음색 시드를 프 speaker별 모듈레이션으로 확장한다.
• 콘텐츠 c_t를 GTM에 어텐딩하고 게이팅 기법 및 구면 보간(Slerp)을 통해 아이덴티티 기하학을 보존하면서 프레임-단위 시간변화 음색 s_t를 계산한다.
• 내용을 압축하고 이산화하는 팩터라이즈드 벡터 양자화 병목을 사용하여 화자 누출을 줄이면서 언어적 세부 정보를 보존한다.
• 전적으로 인과적인 스트리밍 콘텐츠 인코더를 구현하고, TVT-인식 화자 처리, 음정/에너지 예측기, 링 KV 캐시를 갖춘 인과적 웨이브폼 디코더로 효율적 스트리밍을 지원한다.
• 이산 병목을 사용하는 자기감독 HuBERT 기반 타깃으로 콘텐츠 인코더를 훈련하고, 멜 복원, 적대적 손실, 특징 매칭, F0/에너지 감독 등의 다중 객체 손실로 디코더를 훈련한다.

Figure 1: (a) The content encoder in TVTSyn is trained separately with supervision from an off-line HuBERT model. (b) The waveform decoder is trained in a self-supervised fashion to reconstruct the input utterance from content and speaker embedding streams. Dashed lines are disabled at inference.

실험 결과

연구 질문

• RQ1 스피커 정체성 조건화를 프레임-레벨 콘텐츠와 어떻게 정렬하여 스트리밍 VC/SA의 자연스러움과 익명화를 개선할 수 있는가?
• RQ2 시간-변화 음색 표현과 글로벌 음색 메모리가 실시간 제약 하에서 프라이버시를 유지하면서 정확한 화자 전이를 가능하게 하는가?
• RQ3 팩터라이즈드 VQ 병목이 콘텐츠를 효과적으로 규제하여 언어적 충실도를 해치지 않으면서 잔류 정체성 큐를 줄일 수 있는가?
• RQ4 TVT 설계 선택(게이팅, Slerp 보간, GTM 용량)이 스트리밍 VC/SA에서 프라이버시(EER)와 유용성(WER, MOS)에 어떤 영향을 미치는가?
• RQ5 TVTSyn은 VPC-2024 프로토콜 하에서 지연 제약이 엄격한 상태에서 최신 스트리밍 베이스라인과 비교하여 프라이버시-유용성 균형을 어떻게 달성하는가?

주요 결과

• TVTSyn은 느리게 정보화된 경우 47.6%의 EER, 반정보화된 경우 14.6%의 EER로 강력한 익명화를 달성하면서도 이해가능성을 높게 유지한다(WER 5.35%).
• TVTSyn은 음성 품질에 대해 경쟁력 있거나 우수한 MOS 점수와 baselines에 비해 더 높은 인지 가능한 화자 검증 가능성을 보여준다.
• 소거 연구에서 GTM과 사전 정보가 자연스러움에 필수적임을 보이며, GTM 또는 사전 정보를 제거하면 NISQA MOS가 저하된다.
• TVTSyn은 GPU에서 약 79 ms, CPU에서 약 132 ms의 실시간 스트리밍 대기 시간을 달성하고, 각각 RTF는 0.31 및 1.20으로 60/100 ms 청크 설정 하에서 작동한다.
• 오프라인 VPC 시스템과 비교할 때, TVTSyn은 지연 제약이 엄격한 상황에서 가짜 화자 집합을 일정하게 유지하며 프라이버시-유용성 균형을 달성한다.
• 시간-변화 음색 시각화는 음성학적/운율적 전이와 정렬된 프레임 의존적 음색 면의 의미 있는 전환을 나타낸다.

Figure 2: Architecture details for (a) TVT processing block, (b) waveform decoder.