[論文レビュー] Affectron: Emotional Speech Synthesis with Affective and Contextually Aligned Nonverbal Vocalizations

Deok-Hyun Cho, Hyung-Seok Oh+2 more|arXiv (Cornell University)|Mar 15, 2026

Emotion and Mood Recognition被引用数 0

ひとこと要約

Affectron は、感情主導の NV マッチング、感情認識に基づく NV ルーティング、NV マスキング、NV 増強学習を、小規模のオープン語彙コーパスで行い、感情と文脈に沿った表現的な非言語的声の生成を、言語-話者前処理済みニューラルコーデック言語モデルをファインチューニングして実現する。

ABSTRACT

Nonverbal vocalizations (NVs), such as laughter and sighs, are central to the expression of affective cues in emotional speech synthesis. However, learning diverse and contextually aligned NVs remains challenging in open settings due to limited NV data and the lack of explicit supervision. Motivated by this challenge, we propose Affectron as a framework for affective and contextually aligned NV generation. Built on a small-scale open and decoupled corpus, Affectron introduces an NV-augmented training strategy that expands the distribution of NV types and insertion locations. We further incorporate NV structural masking into a speech backbone pre-trained on purely verbal speech to enable diverse and natural NV synthesis. Experimental results demonstrate that Affectron produces more expressive and diverse NVs than baseline systems while preserving the naturalness of the verbal speech stream.

研究の動機と目的

• 感情 TTS における文脈に適合した非言語的声 NV の生成におけるデータ不足とバイアスを解消する。
• 明示的な整列アノテーションなしで NV 多様性を補強するため、小規模なオープンコーパスを活用する。
• 訓練時の NV 増強と NV 構造的マスクを開発し、感情認識的 NV 合成を可能にする。
• 言語話者前処理済みニューラルコーデック言語モデルを微調整し、NV を言語的話声と共同でモデル化する。

提案手法

• 言語話声と NV が別々に記録された小規模のオープン・デカップルコーパスを使用して NV 種類と挿入位置を増強する。
• 感情主導の上位 K 件 NV マッチングを導入し、各発話と情緒的に整合する NV を選択する。
• 感情認識型の上位 K ルーティングを導入し、感情的動態に基づいて適切な文脈地点に NV を配置する。
• 周囲の言語的感情文脈に基づいて生成を条件付けるため、NV 構造マスキングを話者バックボーンに組み込む。
• NV 増強トークン列の再配置と NV タグ付き転写を用いて、VoiceCraft/NCLM を微調整する。
• 推論時には、NV タグ付き転写と感情的参照発話に条件付けされた NV を、アライメントやルーティングステップなしで生成する。

実験結果

リサーチクエスチョン

• RQ1 小規模オープンコーパスを用いて、NV 種類と配置を感情文脈へ現実的に拡張・整列できるか。
• RQ2 感情主導の NV マッチングと感情認識型ルーティングは、ベースラインシステムと比較して NV の表現力と文脈的整合性を向上させるか。
• RQ3 NV 構造マスキングは、生成時の自然さと NV の言語的話声との統合を改善するか。
• RQ4 NV 増強トレーニングは、NV データと話者なしでの直接学習より、ゼロショットおよび seen-speaker シナリオで効果的か。

主な発見

• Affectron は、基線の NCLM ベースの TTS モデルと比較して、言語的自然さを保ちつつ、より表現力豊かで多様な NV 合成を実現する。
• 感情主導の NV マッチングと感情認識型ルーティングは、実証データにより近い NV 種類と配置の分布を生み出す。
• NV 構造マスキングは、周囲の言語的感情文脈を条件付けることで、境界の自然さと一貫性を高める。
• アブレーション研究により、NV マスキング、ルーティング、マッチング、増強の各要素が NV の現実感と多様性の向上に寄与する。
• ゼロショットおよび未知話者評価では、Affectron が話者を超えて NV の品質と文脈整合性を維持する。