[論文レビュー] VAE-based regularization for deep speaker embedding

Yang Zhang, Lantian Li+1 more|arXiv (Cornell University)|Apr 7, 2019

Speech Recognition and Synthesis参考文献 22被引用数 4

ひとこと要約

本論文は、非ガウス分布のxベクトルをよりガウス分布に近い潜在コードに変換するVAEベースの正則化手法を提案する。これにより、PLDAスコアリングとの互換性が向上する。変分オートエンコーダとスコアラーの一貫性損失を組み合わせることで、SITWおよびCSLT-SITWデータセットにおいて、xベクトルおよびPCA やAEといった代替正則化手法を上回る最先端の性能を達成した。

ABSTRACT

Deep speaker embedding has achieved state-of-the-art performance in speaker recognition. A potential problem of these embedded vectors (called `x-vectors') are not Gaussian, causing performance degradation with the famous PLDA back-end scoring. In this paper, we propose a regularization approach based on Variational Auto-Encoder (VAE). This model transforms x-vectors to a latent space where mapped latent codes are more Gaussian, hence more suitable for PLDA scoring.

研究の動機と目的

• 深層ニューラルネットワークから得られるxベクトルが制約がなく非ガウス的であることがPLDA性能を低下させることを是正する。
• 変分オートエンコーダ（VAE）アーキテクチャを用いて、xベクトルをよりガウス的である潜在空間に正則化する。
• スコアラーの一貫性損失を導入することで、潜在空間におけるスコアラー条件分布をよりガウス的にする。
• VAEベースの正則化とPLDAスコアリングが補完的であることを実証し、コサインスコアリングおよびPLDAスコアリングの両方の性能を向上させる。

提案手法

• VAEは、スコアラーの周辺分布がほぼガウス分布になるように、生のxベクトルを潜在空間にマッピングするように訓練される。
• 再パラメトリゼーショントリックを用いることで、変分後退と事前分布のエンドツーエンド訓練が可能になる。
• スコアラーの一貫性損失を導入し、スコアラー条件分布がよりガウス的になるように促進する。
• 再構成損失、KLダイバージェンス、および一貫性損失を統合的に最適化することで、周辺分布および条件分布の両方を正則化する。
• 得られた潜在コード（vベクトルおよびcベクトル）を、コサイン類似度またはPLDAを用いた下流スコアリングに使用する。
• 本手法は、SITWおよびCSLT-SITWデータセット上で、xベクトル、PCA、AE、PLDAベースラインと比較して評価された。

実験結果

リサーチクエスチョン

• RQ1 VAEは、非ガウス的であるxベクトルを、PLDAスコアリングに適したよりガウス的である潜在空間に効果的に正則化できるか？
• RQ2 スコアラーの一貫性損失を追加することで、潜在空間におけるスコアラー条件分布の正則化が向上するか？
• RQ3 PCA やAEといった他の非教師付き手法と比較して、VAEベースの正則化はスコアラー検証タスクにおける性能で優れているか？
• RQ4 VAEベースの正則化はPLDAと補完的であるか、それともPLDAの必要性を排除するものか？
• RQ5 VAE正則化表現は、CSLT-SITWのようなドメイン外設定においても一般化性を示すか？

主な発見

• SITW Dev. Coreセットでは、VAE正則化cベクトルがL-PLDAでEER 3.31%を達成し、xベクトルベースライン（L-PLDAで3.12%）およびコサインスコアリング（EER 9.05%）を上回った。
• SITW Eval. Coreセットでは、cベクトルがL-PLDAでEER 3.53%を達成し、xベクトルベースライン（L-PLDAで3.80% EER）を顕著に上回った。
• CSLT-SITWにおけるドメイン外テストでは、cベクトルがP-PLDAでEER 11.98%を達成し、SITWでの改善よりも顕著で、複雑な音声環境に対しても頑健であることを示した。
• vベクトルおよびcベクトルは、xベクトルと比較して有意に歪度と尖度が低く、特にスコアラー水準でよりガウス的分布であることが確認された。
• PCAおよびAEは適切な正則化を達成できず、EERが高く、分布がガウス的でないことが示され、VAEの確率的性質の重要性が浮き彫りになった。
• VAEベースの正則化は、事前分布を暗黙的に正則化し、kurtosisの低減によってPLDAモデリングに適したものにした。スコアラー統計のkurtosis低下によりそれが裏付けられた。