[論文レビュー] The ICML 2022 Expressive Vocalizations Workshop and Competition: Recognizing, Generating, and Personalizing Vocal Bursts

Alice Baird, Panagiotis Tzirakis+8 more|arXiv (Cornell University)|May 3, 2022

Speech Recognition and Synthesis被引用数 7

ひとこと要約

本論文は、米国、中国、南アフリカ、ベネズエラの4か国から1,702人の話者による59,201件の屋外環境下での発声行動を含むHume-VBデータセットを用いて、表現的な発声の認識・生成・パーソナライズ化に焦点を当てた大規模なICML 2022 ExVoコンペティションを紹介する。3つのトラック（多タスク感情・デモグラフィック認識、感情的発声の生成モデリング、少数-shotパーソナライズ）を実施し、それぞれのベースラインスコアは、多タスク学習で0.335、生成品質（S_Gen）で0.174、少数-shot感情予測でCCC 0.444を記録した。

ABSTRACT

The ICML Expressive Vocalization (ExVo) Competition is focused on understanding and generating vocal bursts: laughs, gasps, cries, and other non-verbal vocalizations that are central to emotional expression and communication. ExVo 2022, includes three competition tracks using a large-scale dataset of 59,201 vocalizations from 1,702 speakers. The first, ExVo-MultiTask, requires participants to train a multi-task model to recognize expressed emotions and demographic traits from vocal bursts. The second, ExVo-Generate, requires participants to train a generative model that produces vocal bursts conveying ten different emotions. The third, ExVo-FewShot, requires participants to leverage few-shot learning incorporating speaker identity to train a model for the recognition of 10 emotions conveyed by vocal bursts. This paper describes the three tracks and provides performance measures for baseline models using state-of-the-art machine learning strategies. The baseline for each track is as follows, for ExVo-MultiTask, a combined score, computing the harmonic mean of Concordance Correlation Coefficient (CCC), Unweighted Average Recall (UAR), and inverted Mean Absolute Error (MAE) ($S_{MTL}$) is at best, 0.335 $S_{MTL}$; for ExVo-Generate, we report Fréchet inception distance (FID) scores ranging from 4.81 to 8.27 (depending on the emotion) between the training set and generated samples. We then combine the inverted FID with perceptual ratings of the generated samples ($S_{Gen}$) and obtain 0.174 $S_{Gen}$; and for ExVo-FewShot, a mean CCC of 0.444 is obtained.

研究の動機と目的

• 非言語的発声行動に関する機械学習研究における重要な空白を埋める。これは感情表現の中心的要素であるが、データ不足のため十分に調査されていない。
• 単一の感情カテゴリへの粗い分類を超えて、笑い、ため息、叫びなどの表現的発声を、大規模かつ現実世界の文脈でモデル化することを可能にする。
• 多様な屋外環境データを用いた多言語・多文化の発声行動データセットを提供することで、多タスク学習、生成モデリング、少数-shotパーソナライズのベンチマークを確立する。
• 連続的な感情強度のアノテーションを備えた大規模で多言語・多文化的な発声行動データセットを公開することで、感情計算分野の研究を加速する。
• 認識、生成、話者に依存する少数-shot予測という3つの新しい機械学習課題に対するベースラインパフォーマンス指標を確立する。

提案手法

• Hume-VBデータセットは、米国、中国、南アフリカ、ベネズエラの4か国から1,702人の話者による59,201件の発声行動を含み、自然な自宅環境で収録され、多様な音響条件を有する。
• ExVo-MultiTaskでは、多タスク学習モデルが10個の連続的感傷次元（例：喜び、恐怖）、年齢、母国語を予測する。評価スコアS_MTLは、CCC、UAR、逆数MAEの調和平均に基づく。
• ExVo-Generateでは、特定の感情を表現する発声を生成するための条件付き生成対抗ネットワーク（cGAN）を訓練し、生成品質はFréchet Inception Distance（FID）と人的評価（S_Gen）で評価される。
• ExVo-FewShotでは、1人の話者あたり2例のデータのみを用いて、10個の感情次元を予測する2層のLSTM（256ユニット）を用い、評価は一致相関係数（CCC）で測定される。
• ベースラインモデルは最先端技術を採用：訓練安定性の向上のためExtraAdam最適化法を用い、生成モデルの収束改善のためデータフィルタリング（例：米国データに制限）を実施。
• 評価には、生成データと実データ間のFID、人的評価（HEEP）、回帰タスクのためのCCCを用い、各感情および全体のスコアを報告する。

実験結果

リサーチクエスチョン

• RQ1 多タスクモデルは、表現的発声から10個の連続的感傷次元、年齢、母国語を一体に認識できるか？
• RQ2 生成モデルは、多様な感情に対して、実際の発声と同等の感情的コンテンツと音響的品質を持つ高精細な発声を生成できるか？
• RQ3 2例の話者データのみを用いた少数-shot学習モデルは、発声の感情強度をどの程度正確に予測できるか？
• RQ4 言語や録音環境の多様性が、発声生成・認識のためのモデル性能および訓練安定性に与える影響は何か？
• RQ5 最先端の深層学習手法を用いた場合、発声の認識・生成・パーソナライズのベースラインパフォーマンスはどの程度か？

主な発見

• ExVo-MultiTaskのベースラインは、感情・年齢・デモグラフィック予測のCCC、UAR、逆数MAEの調和平均に基づくS_MTLスコアとして0.335を達成した。
• ExVo-Generateでは、FIDスコアが感情ごとに4.81〜8.27の範囲に分布し、喜び（Amusement）と畏敬（Awe）で最も低く、生成品質が優れていることが示された。
• 人的評価による生成サンプルの質（HEEP）を統合したS_Genスコアは、全感情で0.174のベースラインスコアを示し、喜び（Amusement）で最高の0.347を記録した。
• ExVo-FewShotのベースラインは、256ユニットのLSTMを用いて平均CCC 0.444 ± 0.006を達成し、64または128ユニットのモデルを上回った。これは、より高い隠れ層次元数が時間的ダイナミクスをより良く捉えられることを示唆している。
• 生成モデルの訓練安定性は、米国データに限定することで著しく向上した。これは、地域ごとの音声品質やノイズプロファイルがモデル収束に影響を及ぼす可能性を示している。
• FIDが高く、S_Genスコアが低いことから、勝利（Triumph）や恐怖（Horror）のような複雑な感情のブレンドをモデル化する課題が顕在化しており、改善の余地が大きいことが示された。