[論文レビュー] Learning Speaker Representation with Semi-supervised Learning approach for Speaker Profiling

Shangeth Rajaa, Pham Van Tung+1 more|arXiv (Cornell University)|Oct 24, 2021

Speech Recognition and Synthesis被引用数 6

ひとこと要約

本論文は、生音声を用いて教師ありスピーカー属性（年齢、身長、性別）と教師なしスピーカー表現学習を統合的に学習することで、スピーカープロファイリングを向上させる半教師あり学習フレームワークを提案する。一貫性学習と相互情報最大化を組み合わせることで、TIMITで最先端の結果を達成し、男性と女性の年齢推定においてそれぞれRMSEが6.8および7.4年となった。

ABSTRACT

Speaker profiling, which aims to estimate speaker characteristics such as age and height, has a wide range of applications inforensics, recommendation systems, etc. In this work, we propose a semisupervised learning approach to mitigate the issue of low training data for speaker profiling. This is done by utilizing external corpus with speaker information to train a better representation which can help to improve the speaker profiling systems. Specifically, besides the standard supervised learning path, the proposed framework has two more paths: (1) an unsupervised speaker representation learning path that helps to capture the speaker information; (2) a consistency training path that helps to improve the robustness of the system by enforcing it to produce similar predictions for utterances of the same speaker.The proposed approach is evaluated on the TIMIT and NISP datasets for age, height, and gender estimation, while the Librispeech is used as the unsupervised external corpus. Trained both on single-task and multi-task settings, our approach was able to achieve state-of-the-art results on age estimation on the TIMIT Test dataset with Root Mean Square Error(RMSE) of6.8 and 7.4 years and Mean Absolute Error(MAE) of 4.8 and5.0 years for male and female speakers respectively.

研究の動機と目的

• スピーカープロファイリングタスクにおける教師あり学習データの不足という課題に対処すること。
• Librispeechなどの外部の教師なしコーパスを活用することで、スピーカー表現学習を改善すること。
• 年齢・身長・性別を同時に予測する統合モデルを構築し、性別に特化したモデルを回避すること。
• 同じスピーカーの増幅されたビュー間の一貫性学習を通じて、モデルの頑健性と一般化性能を向上させること。
• 発話内容に依存せず、スピーカー属性に豊富な、スピーカー固有の表現を学習すること。

提案手法

• 教師あり学習、教師なしスピーカー表現学習、一貫性学習の3パスフレームワークを導入する。
• 同じスピーカーの埋め込み間の相互情報を最大化するためのコントラスト学習目的関数を用いる。
• 陽性ペア（同じスピーカー）と陰性ペア（異なるスピーカー）の潜在コードを区別するための識別器を訓練する。
• 教師あり損失、表現損失（コントラスト）、一貫性損失を統合した目的関数に統合する。
• 教師なしデータと教師ありデータの比率を4:1としてDiffGrad最適化手法を用い、200エポックにわたり訓練する。
• バックボーンとして事前学習済みのwav2vecエンコーダーを採用し、最終的な予測ヘッドのためのLSTMおよび全結合層で微調整する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況下で、半教師あり学習がスピーカープロファイリングの性能向上に寄与するか？
• RQ2 スピーカー表現とプロファイリング属性を同時に学習することで、教師あり学習のみに比べて一般化性能が向上するか？
• RQ3 年齢・身長・性別のマルチタスク学習は、単一タスク学習と比較して性能と頑健性に優れているか？
• RQ4 同じスピーカーの増幅された発話間の一貫性学習が、モデルの一般化性能向上に寄与するか？
• RQ5 Librispeechにおける教師なし事前学習が、下流のスピーカープロファイリング性能にどの程度向上効果をもたらすか？

主な発見

• 提案されたマルチタスク半教師ありモデルは、TIMITテストセットにおいて男性の年齢推定で6.8年、女性の年齢推定で7.4年のRMSEを達成し、最先端の性能を実現した。
• モデルはTIMITで男性と女性の年齢推定において、それぞれ4.8年と5.0年のMAEを達成し、先行研究を上回った。
• マルチタスク設定では性別分類の正確度が99.1%に達し、TIMITにおける過去の最先端結果と同等またはそれを上回った。
• TIMITにおける男性および女性のスピーカーにおいて、年齢および身長推定の両方で、マルチタスク設定が単一タスクモデルを一貫して上回った。
• NISPデータセットでは、男性と女性の身長推定でそれぞれRMSE 6.49および6.44、年齢推定で5.55および6.25を達成し、優れた一般化性能を示した。
• NISPテストセットでは性別分類の正確度が100%に達し、性別予測の信頼性が極めて高いことを示した。