[論文レビュー] Textless Speech Emotion Conversion using Decomposed and Discrete Representations

Felix Kreuk, Adam Polyak+8 more|arXiv (Cornell University)|Nov 14, 2021

Speech Recognition and Synthesis参考文献 75被引用数 11

ひとこと要約

本論文は、音声をコンテンツ、F0、話者、感情の分離された表現に分解し、コンテンツユニットを目的の感情に翻訳して音声波形を生成するための、テキストなし音声感情変換手法を提案する。この手法により、非言語的発声（例：笑い、あくび）のモデリングが可能となり、主観的および客観的な評価を通じて、ベースラインを上回る感情の明確さと音声品質が達成された。

ABSTRACT

Speech emotion conversion is the task of modifying the perceived emotion of a speech utterance while preserving the lexical content and speaker identity. In this study, we cast the problem of emotion conversion as a spoken language translation task. We decompose speech into discrete and disentangled learned representations, consisting of content units, F0, speaker, and emotion. First, we modify the speech content by translating the content units to a target emotion, and then predict the prosodic features based on these units. Finally, the speech waveform is generated by feeding the predicted representations into a neural vocoder. Such a paradigm allows us to go beyond spectral and parametric changes of the signal, and model non-verbal vocalizations, such as laughter insertion, yawning removal, etc. We demonstrate objectively and subjectively that the proposed method is superior to the baselines in terms of perceived emotion and audio quality. We rigorously evaluate all components of such a complex system and conclude with an extensive model analysis and ablation study to better emphasize the architectural choices, strengths and weaknesses of the proposed method. Samples and code will be publicly available under the following link: https://speechbot.github.io/emotion.

研究の動機と目的

• テキスト転写なしで音声感情変換に挑戦し、コンテンツおよび話者アイデンティティを保持したまま感情移転を実現すること。
• 従来のスペクトル的またはパrametricな手法では捉えにくい、笑いやあくびなどの非言語的発声をモデル化すること。
• 分離された音声表現を用いて、感情変換をスプoken言語翻訳タスクとして統合的フレームワークとして扱うこと。
• アブレーションスタディおよび包括的分析を通じて、各構成要素の寄与とアーキテクチャ選択の妥当性を厳密に評価すること。

提案手法

• 本手法は、生の音声を4つの分離された離散的表現（コンテンツユニット、基本周波数（F0）、話者埋め込み、感情埋め込み）に分解する。
• コンテンツユニットは、ニューラル機械翻訳に類似した、シーケンス・ツー・シーケンス翻訳モデルを用いて、元の感情から目的の感情に翻訳される。
• プロソディック特徴（F0）は、翻訳済みコンテンツユニットから専用の回帰ヘッドを介して予測され、感情に即したプロソディを保持する。
• 神経音声生成器（neural vocoder）は、予測された表現から音声波形を再構成し、高精細な音声生成を実現する。
• 本フレームワークは、例えば笑いを挿入する、またはあくびを削除するなど、離散的表現を独立して操作することで、非言語的発声のモデリングを可能にする。
• 本システムは、コンテンツ再構成、感情予測、波形生成の目的を統合したマルチタスク損失を用いて、エンド・ツー・エンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 分離された離散的音声表現は、テキスト監視なしに効果的かつ制御可能な音声感情変換を可能にするか？
• RQ2 本手法は、既存のベースラインと比較して、語彙的コンテンツおよび話者アイデンティティを保持したまま、感情を効果的に移転できるか？
• RQ3 本モデルは、元の入力に明示的に存在しないが、笑いやあくびのような非言語的発声をどの程度正確に生成できるか？
• RQ4 アーキテクチャのどの構成要素—コンテンツ翻訳、F0予測、または表現の分離—が性能向上に最も寄与しているか？
• RQ5 離散的ユニットの使用やシーケンス・ツー・シーケンスモデリングといったアーキテクチャ選択が、感情移転品質および音声忠実度にどのように影響するか？

主な発見

• 主観的評価において、強力なベースラインと比較して、本手法は優れた感情移転品質を達成しており、感情変換の有効性が示された。
• 客観的指標では、音声品質および感情類似度の両面で顕著な向上が確認され、生成出力の頑健さと忠実度が裏付けられた。
• アブレーションスタディにより、分離表現学習およびシーケンス・ツー・シーケンスコンテンツ翻訳モジュールが高性能を達成するために不可欠であることが確認された。
• 本モデルは、笑いの挿入やあくびの削除といった非言語的発声の生成に成功しており、従来のパラメトリックまたはスペクトルベース手法では達成できない。
• 自動指標および人間評価の両方で、高い話者類似度および語彙的コンテンツの保持が確認された。
• 予測された表現に条件付けられた神経音声生成器は、感情に即した自然で一貫性のある高精細波形を生成した。