[논문 리뷰] Emotion-Aware Prefix: Towards Explicit Emotion Control in Voice Conversion Models

Haoyuan Yang, Mu Yang외 3명|arXiv (Cornell University)|2026. 03. 10.

Emotion and Mood Recognition인용 수 0

한 줄 요약

이 논문은 두 단계 VEVO 기반 음성 변환 시스템에서 명시적 감정 제어를 가능하게 하는 Emotion-Aware Prefix with Deep-Prefix Prompting을 도입하여 감정 변환 정확도(ECA)에서 상당한 향상을 달성하면서 화자 정체성과 음질을 유지합니다.

ABSTRACT

Recent advances in zero-shot voice conversion have exhibited potential in emotion control, yet the performance is suboptimal or inconsistent due to their limited expressive capacity. We propose Emotion-Aware Prefix for explicit emotion control in a two-stage voice conversion backbone. We significantly improve emotion conversion performance, doubling the baseline Emotion Conversion Accuracy (ECA) from 42.40% to 85.50% while maintaining linguistic integrity and speech quality, without compromising speaker identity. Our ablation study suggests that a joint control of both sequence modulation and acoustic realization is essential to synthesize distinct emotions. Furthermore, comparative analysis verifies the generalizability of proposed method, while it provides insights on the role of acoustic decoupling in maintaining speaker identity.

연구 동기 및 목표

• 제로샷 음성 변환에서 명시적 감정 제어를 동기화하여 표현력을 향상시키되 언어 내용이나 화자 정체성을 해치지 않는다.
• 콘텐츠 불변의 감정 prefix를 추가하여 VEVO를 확장하고 시퀀스 모듈레이션을 유도한다.
• 감정 프롬프트가 시퀀스 모듈레이션 및 음향 구현 단계에 걸친 계층적 영향을 조사한다.
• 감정 제어에서 일반화 및 음향 분리의 역할이 화자 식별 보존에 미치는 영향을 평가한다.

제안 방법

• 참조 멜-스펙트로그램으로부터 utterance 수준의 감정 임베딩을 추출하는 Emotion-Aware Prefix Encoder를 추가하여 VEVO를 확장한다.
• Temporal-Shuffle Transformer, Perceiver 레이어, Emotion Fusion Layer를 사용하여 고정 길이의 감정 Prefix E를 생성한다.
• Deep-Prefix Prompting을 구현하여 AR 토큰 생성기에서 계층별 KV-캐시로 E를 주입하고 시퀀스 모듈레이션을 수행한다.
• 음향 구현 단계는 참조 오디오 토큰과 실제 멜스펙트로그램에 조건화하여 화자 정체성을 유지한 최종 음성을 구현한다.
• Emotion-Aware Prefix Encoder만 미세조정하고 AR Transformer에 LoRA를 적용하여 경량화된 적응을 수행하되 백본은 동결한다.
• Emotion Speech Dataset(ESD)에서 10명의 화자, 5개의 감정으로 300개의 학습 발화를 사용해 학습한다.

실험 결과

연구 질문

• RQ1 명시적 감정 제어를 Emotion-Aware Prefix를 도입함으로써 두 단계 음성 변환 프레임워크에서 달성할 수 있는가?
• RQ2 시퀀스 수준 모듈레이션과 음향 구현 중 어떤 것이 감정 변환 성능에 더 큰 기여를 하는가?
• RQ3 음향 분리가 명시적 감정 제어를 추가할 때 화자 정체성 보전에 도움이 되는가?
• RQ4 제안된 방법이 목표 감정, 품질, 정체성의 객관적 및 주관적 측정에서 VEVO 및 다른 베이스라인과 비교하여 어떤 성능을 보이는가?

주요 결과

• 감정 변환 정확도(ECA)가 VEVO의 42.40%에서 제안 방법으로 85.50%로 향상된다.
• Deep-Prefix Prompting은 품질이나 가독성을 손상시키지 않으면서 ECA와 감정 유사도(Emo SIM)를 더욱 향상시킨다.
• 시퀀스 모듈레이션이 상위 수준 감정의 주요 원동력이며, 단계 간의 공동 제어가 가장 큰 비가산 이득을 낸다.
• 음향 분리가 화자 정체성 보존에 유리하며, 별도의 음향 구현 단계를 갖지 않는 방법은 정체성 저하가 더 강하다.
• 주관적 평가에서 제안된 방법의 감정 유사도와 화자 선호도가 향상되었음을 보이는 MOS 및 ABX 테스트 결과가 있다.