[논문 리뷰] Lightweight and perceptually-guided voice conversion for electro-laryngeal speech

Benedikt Mayrhofer, Franz Pernkopf외 2명|arXiv (Cornell University)|2026. 01. 07.

Voice and Speech Disorders인용 수 0

한 줄 요약

본 논문은 피치/에너지 모듈을 제거하고 자기지도 사전학습 및 지각성/가청성 손실로 지도 미세조정(designed fine-tuning)한 경량 StreamVC 기반 음성변환 모델을 전기후두(EL) 음성에 적용하여 EL 대비 CER 및 자연스러움에서 상당한 개선을 보이고 건강한 음성과의 근접한 정렬을 달성한다.

ABSTRACT

Electro-laryngeal (EL) speech is characterized by constant pitch, limited prosody, and mechanical noise, reducing naturalness and intelligibility. We propose a lightweight adaptation of the state-of-the-art StreamVC framework to this setting by removing pitch and energy modules and combining self-supervised pretraining with supervised fine-tuning on parallel EL and healthy (HE) speech data, guided by perceptual and intelligibility losses. Objective and subjective evaluations across different loss configurations confirm their influence: the best model variant, based on WavLM features and human-feedback predictions (+WavLM+HF), drastically reduces character error rate (CER) of EL inputs, raises naturalness mean opinion score (nMOS) from 1.1 to 3.3, and consistently narrows the gap to HE ground-truth speech in all evaluated metrics. These findings demonstrate the feasibility of adapting lightweight voice conversion architectures to EL voice rehabilitation while also identifying prosody generation and intelligibility improvements as the main remaining bottlenecks.

연구 동기 및 목표

• 전동식 보청 보조 없이 자연스러운 운율(prosody)을 복원하고 기계적 잡음을 줄여 전기후두 음성의 재활을 촉진한다.
• StreamVC 아키텍처를 적응시켜 EL-HE 음성변환(VC) 시스템을 경량으로 개발한다.
• 지각 및 가청성 가이드 손실이 성능에 미치는 영향을 조사한다.
• 손실 구성 및 잡음 조건에 따른 객관적·주관적 평가를 제공한다.

제안 방법

• EL 음성에 맞게 피치 및 에너지 모듈을 생략하여 StreamVC 아키텍처를 수정한다.
• self-supervised 목표를 사용하여 건강한 독일어 음성에서 콘텐츠(content)와 화자(features)를 분리하도록 사전학습한다.
• 지각적(WavLM, WEO) 및 가청성(HF, F0, BNF, WEO) 가이드 손실을 사용하여 EL–HE 데이터에 대해 병렬 미세조정한다.
• Whisper Encoder Output 특징을 사용하여 Whisper 기반 DTW와 cross-domain 정합을 견고하게 한다.
• GAN 기반의 파형 합성(Hifi-GAN 스타일 판별자)으로 경량 모델(~30M 파라미터, 123 MB)을 유지한다.
• 잡음 하에서 객관적 지표(CER, MOS 예측치, SIM, F0 RMSE)와 주관적 지표(nMOS, WER, SIM)를 평가한다.

실험 결과

연구 질문

• RQ1 경량 EL-to-HE VC 모델이 기준선과 비교해도 가청성 및 자연스러움에서 경쟁력을 가질 수 있는가?
• RQ2 지각/가청성 유도 손실이 EL 음성 복원에 미치는 영향은 무엇인가?
• RQ3 객관적·주관적 지표에서 EL 변환 음성이 HE의 ground-truth에 어느 정도 근접하는가?
• RQ4 모델이 소음 환경에 얼마나 강건하며 여전히 남아있는 병목은 운율성(Prosody)이나 가청성인가?

주요 결과

• 최적 구성(+WavLM+HF)은 EL 기준 및 대안(Base라인들(FreeVC, XVC))에 비해 CER를 크게 감소시키고 nMOS를 증가시켰다.
• 객관적 지표에서 제안 변형은 대부분의 지표에서 HE의 ground-truth 성능에 근접하거나 근접한 경향을 보이나 F0 RMSE 및 CER에서 예외가 있다.
• WavLM 또는 WEO 지각 손실과 HF를 결합하면 가청성과 품질 사이의 균형이 잘 맞아지지만 더 많은 손실을 추가하면 수렴이 저해될 수 있다.
• 주관적 결과는 객관적 경향과 일치하며 +WavLM+HF가 가장 자연스러움(nMOS)과 강한 화자 유사성(Speaker similarity)을 보인다.
• 운율 생성 및 가청성은 전기후두 재활의 주요 병목으로 남아 있으며, 운율 개선이 향후 연구 과제로 제시된다.
• 중등~고 수준의 SNR에서 이 접근법은 명확한 가청성 이점을 제공하지만, 낮은 SNR에서 비정상적(non-stationary) 잡음에 의해 성능 저하가 더 크고 EL 입력과의 격차를 감소한다.