[論文レビュー] Deep Normalization for Speaker Vectors

Yunqi Cai, Lantian Li+2 more|arXiv (Cornell University)|Apr 7, 2020

Speech Recognition and Synthesis参考文献 66被引用数 9

ひとこと要約

本稿では、PLDAベースのスコアリングにおける性能低下を引き起こす非ガウス分布および非一様分布を解消するため、深層スポーカーベクトルにおける非ガウス的かつ非一様的分布に対処するため、新しい識別的正規化フロー（DNF）モデルを用いたディープ正規化を提案する。DNFモデルはスポーカーベクトルを非線形に変換することで分布の規則性を向上させ、SITWおよびCNCelebデータセットにおいてLDAおよびベースライン正規化よりも顕著な向上を達成し、最先端の性能を実現した。

ABSTRACT

Deep speaker embedding has demonstrated state-of-the-art performance in speaker recognition tasks. However, one potential issue with this approach is that the speaker vectors derived from deep embedding models tend to be non-Gaussian for each individual speaker, and non-homogeneous for distributions of different speakers. These irregular distributions can seriously impact speaker recognition performance, especially with the popular PLDA scoring method, which assumes homogeneous Gaussian distribution. In this paper, we argue that deep speaker vectors require deep normalization, and propose a deep normalization approach based on a novel discriminative normalization flow (DNF) model. We demonstrate the effectiveness of the proposed approach with experiments using the widely used SITW and CNCeleb corpora. In these experiments, the DNF-based normalization delivered substantial performance gains and also showed strong generalization capability in out-of-domain tests.

研究の動機と目的

• 深層スポーカーベクトルにおける非ガウス的かつ非一様的分布がPLDAベースのスコアリングに与える悪影響を是正すること。
• スポーカー間の分布の規則性を向上させる非線形正規化手法を開発すること。
• 特にドメイン外設定において一般化性能を向上させること。
• ディープ正規化がディープスポーカーベクトルシステムの性能を最大限に引き出すために不可欠であることを示すこと。

提案手法

• 線形判別分析（LDA）の非線形拡張として、識別的正規化フロー（DNF）モデルを提案する。
• 可逆変換を用いて複雑で非ガウス的かつ非一様なスポーカーベクトル分布をモデル化する正規化フローの枠組みを用いる。
• 潜在空間上で最尤（ML）目的関数を用いてDNFモデルを学習し、正規化プロセスのエンドツーエンド最適化を可能にする。
• スコアリングのバックエンド処理の前に、スポーカーベクトルにDNF変換を適用することで分布の規則性を向上させる。
• 結合層を用いたフロー型アーキテクチャを採用し、元のスポーカーベクトルから正規化された潜在空間への変換をモデル化する。
• 既存のx-vectorおよびResNetベースのシステムと互換性を持つように、スポーカーベクトル抽出後の後処理ステップとしてDNFモデルを統合する。

実験結果

リサーチクエスチョン

• RQ1 LDAのような線形手法よりも、DNFのような非線形正規化手法が、深層スポーカーベクトル分布の正規化において優れた性能を発揮できるか。
• RQ2 深層正規化が、SITWやCNCelebのような標準ベンチマークでスコアリング性能を顕著に向上させられるか。
• RQ3 LDAが著しく性能を低下させるドメイン外評価シナリオにおいて、DNFモデルはどの程度の性能を発揮するか。
• RQ4 DNFモデルはスポーカーベクトル分布のガウス性および一様性をどの程度向上させるか。
• RQ5 複雑で相関関係にあるスポーカーベクトル分布であっても、DNFモデルは効果的に学習可能か。

主な発見

• DNFベースの正規化はSITWテストセットで2.93%のEERを達成し、LDAベースのベースライン（2.82%）およびDNF-LDAの組み合わせ（2.83%）を上回った。
• CNCelebデータセットでは、DNFモデルが12.59%のEERを達成し、ベースラインのx-vector（14.02%）およびLDA（13.42%）を顕著に上回った。
• DNFモデルは強力な一般化性能を示し、LDAの性能が著しく低下するドメイン外評価でも高い性能を維持した。
• 学習解析の結果、DNFは尖度、歪度、方向分散を効果的に低減しており、スポーカーベクトル分布のガウス性および一様性の向上を示した。
• 交差エントロピー損失および識別性能指標が継続的に改善され、正規化空間におけるクラス分離性の向上が確認された。
• SITW開発セットでは1.86%のEERを達成し、複数の評価プロトコルにわたり一貫した性能向上が得られた。