[論文レビュー] Emotion-Aware Prefix: Towards Explicit Emotion Control in Voice Conversion Models

Haoyuan Yang, Mu Yang+3 more|arXiv (Cornell University)|Mar 10, 2026

Emotion and Mood Recognition被引用数 0

ひとこと要約

本論文はEmotion-Aware Prefix with Deep-Prefix Promptingを提案し、二段階のVEVOベース音声変換システムにおいて感情制御を明示的に可能にする。感情変換精度（ECA）で実質的な向上を達成しつつ、話者識別と音質を維持。

ABSTRACT

Recent advances in zero-shot voice conversion have exhibited potential in emotion control, yet the performance is suboptimal or inconsistent due to their limited expressive capacity. We propose Emotion-Aware Prefix for explicit emotion control in a two-stage voice conversion backbone. We significantly improve emotion conversion performance, doubling the baseline Emotion Conversion Accuracy (ECA) from 42.40% to 85.50% while maintaining linguistic integrity and speech quality, without compromising speaker identity. Our ablation study suggests that a joint control of both sequence modulation and acoustic realization is essential to synthesize distinct emotions. Furthermore, comparative analysis verifies the generalizability of proposed method, while it provides insights on the role of acoustic decoupling in maintaining speaker identity.

研究の動機と目的

• ゼロショット音声変換における明示的な感情制御を動機づけ、表現力を高めつつ言語内容や話者アイデンティティを損なわないこと。
• VEVOを内容不変の感情プレフィックスで拡張し、系列変調を誘導する。
• 感情プロンプトの階層的影響を系列変調と音響実現段階に渡って調査する。
• 感情制御VCにおける一般化性とアイデンティティ保持の音響的デコップリングの役割を評価する。

提案手法

• Emotion-Aware Prefix Encoderを追加して参照メルスペクトログラムから話者感情埋め込みを抽出し、VEVOを拡張する。
• Temporal-Shuffle Transformer、Perceiver層、およびEmotion Fusion Layerを用いて固定長の感情プレフィックスEを生成する。
• Deep-Prefix Promptingを実装して、ARトークン生成器に層ごとのKV-cacheとしてEを注入し系列変調を実現する。
• 音響実現段階を参照音声トークンとグランドトゥルースメルスペクトログラムで条件づけて、話者アイデンティティを保持した最終 Speech を実現する。
• Emotion-Aware Prefix Encoderのみをファインチューニングし、AR TransformerへLoRAを適用して軽量適応を図り、バックボーンは凍結のままにする。
• Emotion Speech Dataset（ESD）を用い、10話者×5感情の組み合わせで各話者感情ペアにつき訓練 utterance 300件で訓練する。

実験結果

リサーチクエスチョン

• RQ1 感情認識制御を明示的に導入することで、二段階の音声変換フレームワークにおいて明示的な感情制御を実現できるか。
• RQ2 系列レベルの変調と音響実現の相対的貢献は感情変換性能にどの程度影響するか。
• RQ3 音響デコップリングは、明示的な感情制御を追加する際に話者アイデンティティの保持に寄与するか。
• RQ4 提案手法は客観指標・主観指標の感情・品質・アイデンティティの観点でVEVOおよび他のベースラインと比較してどう成果を出すか。

主な発見

• 感情変換精度（ECA）は従来のVEVOの42.40%から提案法で85.50%へと改善。
• Deep-Prefix PromptingによりECAおよび感情類似度（Emo SIM）をさらに高めつつ、品質や intelligibilityを損なわない。
• 系列変調が高次の感情の主要推進要因で、段階間の共同制御が最も大きな非加法的向上をもたらす。
• 音響デコップリングは話者アイデンティティの保持に有効であり、別個の音響実現段階を欠く方法はアイデンティティ劣化をより受けやすい。
• 主観評価では提案法が感情類似性と話者の好みにおいて改善を示し、MOSおよびABXテストで有利。