[論文レビュー] Exploring speaker enrolment for few-shot personalisation in emotional vocalisation prediction

Andreas Triantafyllopoulos, Meishu Song+3 more|arXiv (Cornell University)|Jun 14, 2022

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文は、ターゲットスプリーカーの2つのラベルなし発話から、ドット積によるアテンションを用いて感情エンコーダーを適応させる、新しい「登録（enrolment）」エンコーダーを用いた、少量のスプリーカー固有データでの感情的発話予測のための少サンプルパーソナライゼーションフレームワークを提案する。この手法は、ExVo Few-Shot開発セットにおいてCCCが0.650に達し、ベースラインのCNN14モデルと比較して2.5%の相対的改善を達成した。登録エンコーダーがその大部分の向上をもたらした。

ABSTRACT

In this work, we explore a novel few-shot personalisation architecture for emotional vocalisation prediction. The core contribution is an `enrolment' encoder which utilises two unlabelled samples of the target speaker to adjust the output of the emotion encoder; the adjustment is based on dot-product attention, thus effectively functioning as a form of `soft' feature selection. The emotion and enrolment encoders are based on two standard audio architectures: CNN14 and CNN10. The two encoders are further guided to forget or learn auxiliary emotion and/or speaker information. Our best approach achieves a CCC of $.650$ on the ExVo Few-Shot dev set, a $2.5\%$ increase over our baseline CNN14 CCC of $.634$.

研究の動機と目的

• 最小限のスプリーカー固有データを用いて、感情的発話予測における少サンプルパーソナライゼーションを向上させること。
• ターゲットスプリーカーからの2つのラベルなし発話を、感情認識モデルの適応にどのように活用できるかを調査すること。
• 補助損失が、それぞれスプリーカー固有の表現と感情不変の表現を学習するのを支援する有効性を検討すること。
• 登録エンコーダーによるアテンションベースの条件付けが、標準的な敵対的スプリーカー不変ベースラインを上回るかを評価すること。

提案手法

• モデルは二重ブランチアーキテクチャを採用：感情エンコーダー（CNN14）と登録エンコーダー（CNN10）で構成され、後者がドット積アテンションにより前者を条件づける。
• 登録エンコーダーは、2つのラベルなしターゲットスプリーカー発話を処理し、感情エンコーダー出力のモodulationを実現するコンテキストベクトルを生成する。
• 両エンコーダーに補助的敵対ヘッドを適用：感情エンコーダーではスプリーカーIDの抑制を、登録エンコーダーではスプリーカー表現の強化を目的とする。
• 勾配反転層を用い、ドメイン不変学習を段階的に導入するウォームアップスケジュールを採用することで、モデルのロバストネスを向上させる。
• 最終的な予測は、アテンション処理済みのスプリーカー適応埋め込みを入力とする共有感情分類器によって行われる。
• モデル学習は、感情回帰損失と補助的敵対損失の組み合わせを用い、勾配反転のハイパーパramータチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットスプリーカーからの2つのラベルなし発話が、少サンプル設定における感情認識モデルのパーソナライゼーションに効果的に利用可能か？
• RQ2 登録エンコーダーによるアテンションベースの条件付けが、標準的な敵対的スプリーカー不変技術を上回るか？
• RQ3 補助的敵対ヘッドが、パーソナライゼーション機構の一般化性とロバストネスを向上させる貢献度はいかほどか？
• RQ4 ExVo Few-Shotベンチマークにおける性能に、補助損失の異なる組み合わせがどのように影響するか？

主な発見

• 提案された登録ベースのパーソナライゼーション手法は、ExVo Few-Shot開発セットでCCCが0.650に達し、ベースラインのCNN14モデル（0.634）と比較して2.5%の相対的改善を示した。
• 最高の性能は、補助ヘッドを一切持たない登録エンコーダーのみのアーキテクチャで達成され、コアメカニズムが主な向上要因であることを示した。
• 感情エンコーダー分岐に敵対的スプリーカー分類器を追加すると性能が著しく低下し、この文脈ではスプリーカー不変性が有益でない可能性を示唆した。
• 登録エンコーダーに敵対的感情分類器（ただしスプリーカー分類器はなし）を適用した場合、CCCは0.647に達し、ベースラインよりわずかに向上した。
• 登録エンコーダーに両方の敵対的ヘッドを追加した場合、テストセットでCCCが0.642に低下した。これは、補助的ガイドラインが登録メカニズム自体を上回る恩恵をもたらさないことを示唆した。
• アブレーションスタディにより、登録エンコーダーが性能向上の主因であることが確認され、補助コンponentsは僅かな改善しかもたらさなかった。